[論文レビュー] VSR: A Unified Framework for Document Layout Analysis combining Vision, Semantics and Relations

Peng Zhang, Can Li+5 more|arXiv (Cornell University)|May 13, 2021

Handwritten Text Recognition Techniques参考文献 42被引用数 7

ひとこと要約

VSRは、視覚、意味論（文字および文レベル）、およびグラフニューラルネットワークを用いた関係推論を統合する包括的な深層学習フレームワークを提案する。2ストリームネットワークと適応的特徴統合、および関係モジュールを用いてコンponent予測を精緻化することで、3つのベンチマークで最先端の性能を達成し、PubLayNetデータセットで92.3%のmAPを達成した。

ABSTRACT

Document layout analysis is crucial for understanding document structures. On this task, vision and semantics of documents, and relations between layout components contribute to the understanding process. Though many works have been proposed to exploit the above information, they show unsatisfactory results. NLP-based methods model layout analysis as a sequence labeling task and show insufficient capabilities in layout modeling. CV-based methods model layout analysis as a detection or segmentation task, but bear limitations of inefficient modality fusion and lack of relation modeling between layout components. To address the above limitations, we propose a unified framework VSR for document layout analysis, combining vision, semantics and relations. VSR supports both NLP-based and CV-based methods. Specifically, we first introduce vision through document image and semantics through text embedding maps. Then, modality-specific visual and semantic features are extracted using a two-stream network, which are adaptively fused to make full use of complementary information. Finally, given component candidates, a relation module based on graph neural network is incorported to model relations between components and output final results. On three popular benchmarks, VSR outperforms previous models by large margins. Code will be released soon.

研究の動機と目的

• 既存のドキュメントレイアウト解析手法がモダリティ統合を無視しているか、コンponent間の関係推論を欠いているという限界を解消すること。
• ドキュメント画像からの視覚的特徴と、多スケールの意味的表現（文字および文レベル）を統合することで、レイアウト理解を向上させること。
• マルチスケールの適応的アグリゲーションモジュールを備えた2ストリームアーキテクチャにより、視覚と意味の効果的で適応的な統合を実現すること。
• グラフニューラルネットワークに基づく関係モジュールを用いて、レイアウトコンponent間の構造的および意味的関係をモデル化することで、予測精度を向上させること。
• NLPベース（シーケンスラベル付け）およびCVベース（オブジェクト検出／セグメンテーション）の両方のアプローチと互換性を持つ包括的なフレームワークを提供すること。

提案手法

• VSRは、ドキュメント画像とテキスト埋め込みマップ（文字および文レベル）を入力として処理し、視覚的および意味的情報を捉える。
• 2ストリーム畳み込みネットワークが、タスク固有の表現を保持するように、モダリティ固有の視覚的および意味的特徴を独立して抽出する。
• 適応的アグリゲーションモジュールが、複数スケールにわたる視覚的および意味的特徴を統合し、補完的情報を強調する動的アテンション重みを学習する。
• コンponent候補は、NLPベースモードではトークンシーケンス、CVベースモードでは検出／セグメンテーションヘッドによって生成される。
• グラフニューラルネットワークに基づく関係モジュールが、コンponent間の関係（例：図-図キャプション、整合された段落）をモデル化し、座標と意味ラベルを精緻化する。
• 最終出力は、関係推論による予測の精緻化によって得られ、一貫性と正確性が向上する。

実験結果

リサーチクエスチョン

• RQ1 包括的なフレームワークが、視覚、意味論、関係推論を効果的に統合することで、単一モダリティまたは単純なマルチモーダル手法を上回るドキュメントレイアウト解析を実現できるか？
• RQ2 文字レベルおよび文レベルの多スケール意味的表現が、多様なドキュメントコンponentの認識に与える影響は何か？
• RQ3 アテンションベースの適応的特徴統合は、連結ベースの統合と比較して、性能向上にどの程度寄与するか？
• RQ4 グラフニューラルネットワークに基づく関係モデリングは、誤検出の低減およびコンponent間のラベル一貫性向上にどの程度効果的か？
• RQ5 提案されたフレームワークは、NLPベースおよびCVベースのレイアウト解析パイプラインの両方に対して柔軟に適用可能か？

主な発見

• VSRはPubLayNetベンチマークで92.3%のmAPを達成し、以前の最先端モデル（89.8% mAP）を大きく上回り、単一モダリティおよびシングルストリームマルチモーダルベースラインをも凌駕した。
• 関係モジュールの追加により、VSRではmAPが2.2%向上、Faster R-CNNでは5.3%向上し、予測の精緻化における関係推論の有効性が裏付けられた。
• 適応的アグリゲーションを備えた2ストリームネットワークは、最高のmAP（92.3%）を達成し、13.94 FPSの実時間推論が可能であることが示された。
• 文字レベルと文レベルの両方の意味的表現を用いることで、文字レベルのみの表現を用いた場合（67.1%から87.3%に）mAPが20.1%向上した。
• 重複予測の低減と座標・ラベルの一貫性向上が図られ、定性的な結果では関係モジュールが誤ってラベル付けされたおよび重複するコンponentを是正していることが示された。
• アブレーションスタディにより、入力レベルまたは意思決定レベルの連結よりも適応的統合が優れていることが確認され、VSRは92.3%のmAPを達成したのに対し、入力レベル統合では86.2%、意思決定レベル統合では91.4%であった。