[論文レビュー] Neural Collaborative Graph Machines for Table Structure Recognition

Hao Liu, Xin Li+4 more|arXiv (Cornell University)|Nov 26, 2021

Handwritten Text Recognition Techniques参考文献 44被引用数 4

ひとこと要約

本稿では、多様で困難な状況下でのテーブル構造認識（TSR）を向上させるために、階層的に内部モダリティおよび外部モダリティ間の相互作用をモデル化する新しいグラフニューラルネットワークフレームワーク、Neural Collaborative Graph Machines（NCGM）を提案する。協調ブロックを積み重ね、内部モダリティの文脈抽出と外部モダリティの統合を交互に実行することで、特に歪みや複雑なテーブルにおいて、従来手法を顕著に上回る最先端の性能を達成する。

ABSTRACT

Recently, table structure recognition has achieved impressive progress with the help of deep graph models. Most of them exploit single visual cues of tabular elements or simply combine visual cues with other modalities via early fusion to reason their graph relationships. However, neither early fusion nor individually reasoning in terms of multiple modalities can be appropriate for all varieties of table structures with great diversity. Instead, different modalities are expected to collaborate with each other in different patterns for different table cases. In the community, the importance of intra-inter modality interactions for table structure reasoning is still unexplored. In this paper, we define it as heterogeneous table structure recognition (Hetero-TSR) problem. With the aim of filling this gap, we present a novel Neural Collaborative Graph Machines (NCGM) equipped with stacked collaborative blocks, which alternatively extracts intra-modality context and models inter-modality interactions in a hierarchical way. It can represent the intra-inter modality relationships of tabular elements more robustly, which significantly improves the recognition performance. We also show that the proposed NCGM can modulate collaborative pattern of different modalities conditioned on the context of intra-modality cues, which is vital for diversified table cases. Experimental results on benchmarks demonstrate our proposed NCGM achieves state-of-the-art performance and beats other contemporary methods by a large margin especially under challenging scenarios.

研究の動機と目的

• 異種テーブル構造におけるモダリティ協調の未開拓な側面、特に歪みや複雑さにさらされた状況下での課題に対処すること。
• 異種テーブル構造認識（Hetero-TSR）という新しい問題定式化を提案すること。視覚的、幾何的、コンテンツ的モダリティ間の動的協調を強調すること。
• 内部モダリティの文脈に基づき、協調パターンを適応的に調整できる深層学習フレームワークを設計すること。
• 初期融合や後期融合戦略の限界を克服すること。これらは、それぞれモダリティを早すぎる段階で混合するか、クロスモダリティ相互作用を効果的に統合できない。
• モバイルで撮影された、歪みや複雑な構造を持つテーブルを含む実世界のシナリオにおいて、より正確で汎用性の高いテーブル構造認識を可能にすること。

提案手法

• テキストセグメントの境界ボックスをノードとして用い、外観、幾何、コンテンツの3つのモダリティごとに別々のグラフを構築する。
• Ego Context Extractor（ECE）による動的内部モダリティ文脈生成と、Cross Context Synthesizer（CCS）による外部モダリティ相互作用の統合と調整から成る基本的な協調ブロックを導入する。
• ECEは、ノード特徴量とグラフトポロジーに基づき、モダリティ固有の文脈表現を生成するためにマルチヘッド自己注意機構を用いる。
• CCSは、学習可能な注意機構を用いて、動的に調整・統合されたクロスモダリティ情報を生成し、文脈に応じた協調を可能にする。
• 低レベルおよび高レベルの表現が、モダリティ間で段階的に相互作用できるように、複数の協調ブロックを階層的にスタックする。
• 表現品質と一般化性能を向上させるために、対照学習の目的関数を用いてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 初期融合や後期融合を超えて、複数モダリティ間の動的かつ文脈に応じた協調が、テーブル構造認識を向上させ得るか？
• RQ2 内部および外部モダリティ相互作用は、歪みや複雑なテーブルの認識において、どのように耐性を高めているか？
• RQ3 モデルは、各モダリティ固有の特性および全体のテーブル構造に基づき、協調パターンを適応的に変更できるか？
• RQ4 モダリティの多様性と相互作用ダイナミクスは、特に困難な状況下で認識精度にどのような影響を与えるか？
• RQ5 提案された階層的協調メカニズムは、標準的なアテンション機構やグラフニューラルネットワークと比較して、テーブル関係をどのようにモデル化しているか？

主な発見

• NCGMはベンチマークデータセットで最先端の性能を達成し、GraphTSR、DGCNN、TabStruct-Net、FLAG-Netといった既存手法を上回る。
• TUXおよびPubLayNetというより困難なデータセットでは、ベースラインと比較して顕著な優位性を示し、特に歪みや不規則なテーブル構造の処理において優れた性能を発揮する。
• 特にセルの統合やボックスのずれがあるケースにおいて、行および列構造予測の誤差率が低下する。
• アブレーションスタディの結果、Ego Context ExtractorとCross Context Synthesizerの両方が性能向上に不可欠であることが確認され、CCSが外部モダリティ協調の向上に最も寄与している。
• Jensen-Shannon Divergence分析により、CCSが注目マップの多様性を高め、より効果的で多様なクロスモダリティ相互作用パターンを示していることが示された。
• 定性的な結果から、NCGMはネストされた構造や複雑なレイアウトを含む多様なテーブルタイプに良好に一般化していることが確認されたが、ネストされたテーブルにおける重度のずれにはまだ対応できない場合がある。