[論文レビュー] Doc-GCN: Heterogeneous Graph Convolutional Networks for Document Layout Analysis

Siwen Luo, Yihao Ding+3 more|UWA Profiles and Research Repository (UWA)|Aug 22, 2022

Handwritten Text Recognition Techniques被引用数 7

ひとこと要約

Doc-GCNは、文書レイアウト要素の4つの異なる側面—文法的構造、意味的意味、テキスト密度、視覚的外観—を統合する非均質的グラフ畳み込みネットワークを提案する。各特徴タイプごとに別々のグラフを構築し、ノードレベルのプーリングを伴うグラフ畳み込みを適用することで、要素間の関係性を捉え、PubLayNet、FUNSD、DocBankの各データセットで最先端の性能を達成した。

ABSTRACT

Recognizing the layout of unstructured digital documents is crucial when parsing the documents into the structured, machine-readable format for downstream applications. Recent studies in Document Layout Analysis usually rely on computer vision models to understand documents while ignoring other information, such as context information or relation of document components, which are vital to capture. Our Doc-GCN presents an effective way to harmonize and integrate heterogeneous aspects for Document Layout Analysis. We first construct graphs to explicitly describe four main aspects, including syntactic, semantic, density, and appearance/visual information. Then, we apply graph convolutional networks for representing each aspect of information and use pooling to integrate them. Finally, we aggregate each aspect and feed them into 2-layer MLPs for document layout component classification. Our Doc-GCN achieves new state-of-the-art results in three widely used DLA datasets.

研究の動機と目的

• 既存のDLSモデルが視覚的またはテクスト特徴に依存するという限界を是正するため、レイアウト要素の複数の非均質的側面を統合すること。
• グラフベースの表現を用いて、文書レイアウト要素間の構造的・関係的依存性をモデル化すること。
• グラフ畳み込みとプーリング機構を通じて、多様な特徴タイプを調和させることで、文書要素分類の精度を向上させること。
• 文語的および密度的特徴を意味的および視覚的特徴と組み合わせることで、レイアウト解析における顕著な性能向上が達成されることを示すこと。

提案手法

• 文法的、意味的、密度的、外観的特徴それぞれについて、異なるノード初期化手法を用いて合計6つの異なるグラフを構築する。
• グラフ畳み込みネットワーク（GCN）を適用し、各グラフ内の隣接ノードからの特徴を集約することで、ノード埋め込みを更新する。
• ノードレベルのプーリング（特にマックスプーリング）を用いて、各特徴側面のグラフレベル表現を集約する。
• 全4つの特徴側面からのプールド表現を連結し、各レイアウト要素ごとに統一された特徴ベクトルを生成する。
• 最終的な特徴ベクトルを、事前に定義されたレイアウトカテゴリに分類するための2層の多層パーセプトロン（MLP）に供給する。
• レイアウト要素分類の交差エントロピー損失を最適化するため、文書ページレベルのデータ上でモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 文語的、意味的、密度的、外観的といった複数の非均質的特徴を、文書レイアウト解析の性能向上にどのように効果的に統合できるか。
• RQ2 グラフ構造を用いて要素間の関係性をモデル化することで、レイアウト分類の精度にどのような影響を与えるか。
• RQ3 どの特徴側面の組み合わせとプーリング戦略の組み合わせが、文書レイアウト分類において最高のパフォーマンスをもたらすか。
• RQ4 グラフベースのアプローチは、視覚的またはテクスト特徴に依存する既存のモデルを上回ることができるか。

主な発見

• Doc-GCNは、PubLayNetで98.63%、FUNSDで85.49%、DocBankで91.83%のSOTA F1スコアを達成し、すべてのベースラインを上回った。
• 文語的および密度的特徴の導入により、3つのデータセットすべてで性能向上が見られ、特にFUNSDでベースライン比+6.62%のF1スコア向上が確認された。
• マックスプーリングが全データセットで最良のパフォーマンスを示し、特にFUNSDでは平均および最小プーリングよりF1スコアが約3%向上した。
• モデルは優れた一般化性能を示し、RoBERTa や Faster R-CNN が失敗した「List」や「Text」などの困難な要素を正しく分類できた。
• 大規模事前学習（例：Doc-GCN-L）によりさらなる性能向上が達成され、3つのデータセットすべてでBERT-L、RoBERTa-L、LayoutLM-Lを上回った。
• アブレーションスタディの結果、全4つの特徴側面が正の寄与を示した。特に意味的および外観的特徴が最も強い影響を示したが、文語的および密度的特徴は重要な補完的改善をもたらした。