[論文レビュー] A Saliency-based Convolutional Neural Network for Table and Chart Detection in Digitized Documents

Isaak Kavasidis, Simone Palazzo+5 more|arXiv (Cornell University)|Apr 17, 2018

Handwritten Text Recognition Techniques参考文献 1被引用数 24

ひとこと要約

本稿では、分類固有のサリエンシーを活用し、マルチスケール特徴推論と完全結合型CRFを統合した、完全畳み込みニューラルネットワークを提案する。この手法により、デジタイズドドキュメント画像における表と図の正確な検出と局所化が実現され、拡張されたICDAR 2013ベンチマークで97.8%のF1スコアを達成し、従来の手法を上回った。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) have recently been applied successfully to a variety of vision and multimedia tasks, thus driving development of novel solutions in several application domains. Document analysis is a particularly promising area for DCNNs: indeed, the number of available digital documents has reached unprecedented levels, and humans are no longer able to discover and retrieve all the information contained in these documents without the help of automation. Under this scenario, DCNNs offers a viable solution to automate the information extraction process from digital documents. Within the realm of information extraction from documents, detection of tables and charts is particularly needed as they contain a visual summary of the most valuable information contained in a document. For a complete automation of visual information extraction process from tables and charts, it is necessary to develop techniques that localize them and identify precisely their boundaries. In this paper we aim at solving the table/chart detection task through an approach that combines deep convolutional neural networks, graphical models and saliency concepts. In particular, we propose a saliency-based fully-convolutional neural network performing multi-scale reasoning on visual cues followed by a fully-connected conditional random field (CRF) for localizing tables and charts in digital/digitized documents. Performance analysis carried out on an extended version of ICDAR 2013 (with annotated charts as well as tables) shows that our approach yields promising results, outperforming existing models.

研究の動機と目的

• 従来のオブジェクト検出器が、視覚的コンテンツではなくレイアウトの差異に起因して失敗する、デジタイズドドキュメント画像における表と図の検出という課題に対処すること。
• 標準的なDCNNが密度予測タスクにおいて限界を示すのを克服するため、マルチスケール推論とサリエンシーモデリングを統合し、局所化精度を向上させること。
• 深層学習と完全結合型CRFを組み合わせることで、サリエンシーマップの後処理による微調整を実現し、検出精度を向上させること。
• ドキュメントフォーマットのメタデータに依存せず、罫線のない複雑な表や多様な図の種類に対しても耐性を持つ手法を開発すること。

提案手法

• 分類固有のサリエンシーを教師信号として用い、ターゲットオブジェクトカテゴリ（表、棒グラフ、円グラフ、折れ線グラフ）に基づいて、ドキュメント画像内の顕著な領域を検出する完全畳み込みニューラルネットワークを訓練する。
• 微細な構造的パターンとグローバルな構造的パターンを捉えるために、マルチスケール特徴集約を採用し、高解像度特徴マップでの局所化精度を向上させる。
• 下流の分類タスクにおける生成されたサリエンシーマップの識別力に基づいて、補助損失を導入し、特徴学習を強化する。
• ネットワーク出力の後処理として、完全結合型条件付きランダムフィールド（CRF）を適用し、ノイズを低減し、検出領域のギャップを埋める。
• CRFはピクセル間の長距離依存関係をモデル化することで、空間的一致性を強制し、不完全な検出を是正する。
• 最終出力はピクセル単位の分類マップであり、高信頼度領域に対して非最大抑制を適用することでバウンディングボックスを予測する。

実験結果

リサーチクエスチョン

• RQ1 従来のオブジェクト検出アプローチと比較して、レイアウトに基づくオブジェクト（表や図）の検出において、サリエンシー駆動型ディープラーニングが有効であるか？
• RQ2 完全畳み込みネットワークにおけるマルチスケール推論は、表や図の局所化という密度予測タスクにおいて、どの程度効果的か？
• RQ3 完全結合型CRFがサリエンシーマップを微調整し、誤検出を低減することで、検出性能がどの程度向上するか？
• RQ4 サリエンシー学習と識別的損失信号を組み合わせることで、モデルが表／図と背景または類似構造を区別する能力が向上するか？
• RQ5 表と図を含むベンチマークにおいて、F1スコア、精度、再現率の観点から、本手法はSOTA手法と比較してどの程度優れているか？

主な発見

• 提案手法は、拡張されたICDAR 2013データセットで97.8%のF1スコアを達成し、従来のSOTA手法を顕著に上回った。
• アブレーションスタディの結果、CRFモジュールの追加により、F1スコアが90.4%（SAL-CL）から97.8%（ALL構成）に上昇した。これは、CRFが誤検出を低減する上で極めて重要な役割を果たしていることを示している。
• CRFの導入により再現率が12%向上した一方、精度は6%しか上昇しなかった。これは、主に大規模または部分的に検出されたオブジェクトのギャップを埋めることが主な利点であることを示している。
• SALオンリーカンfigurationではF1スコアが76.3%にとどまり、カテゴリ固有の学習とCRFの微調整がなければ、一般的なサリエンシー検出だけでは不十分であることが証明された。
• 本手法は、複雑で罫線のない表や、ピエグラフや棒グラフを含む多様な図の種類を、重なっている要素がある困難なレイアウトでも正しく検出できた。
• 可視化結果から、CRFが不完全な検出を効果的に拡張し、境界の誤差を是正していることが確認され、最終出力のバウンディングボックスが正解に近づいていた。