[論文レビュー] Spatial Dual-Modality Graph Reasoning for Key Information Extraction

Hongbin Sun, Zhanghui Kuang+3 more|arXiv (Cornell University)|Mar 26, 2021

Handwritten Text Recognition Techniques参考文献 36被引用数 16

ひとこと要約

本稿では、視覚的および文脈的特徴を組み合わせた空間的二重モダリティグラフを用い、構造化されていないドキュメント画像からのキーメタデータ抽出をエンドツーエンドで行うSpatial Dual-Modality Graph Reasoning (SDMG-R) を提案する。SDMG-Rは、反復的なグラフ畳み込み型メッセージパッシングを用いてノード表現を精緻化し、SROIEおよびより大規模かつ現実的で新しいベンチマークであるWildReceiptで最先端の性能を達成し、キーメタデータ分類を含めた場合に4.4%の絶対的F1スコア向上を達成した。

ABSTRACT

Key information extraction from document images is of paramount importance in office automation. Conventional template matching based approaches fail to generalize well to document images of unseen templates, and are not robust against text recognition errors. In this paper, we propose an end-to-end Spatial Dual-Modality Graph Reasoning method (SDMG-R) to extract key information from unstructured document images. We model document images as dual-modality graphs, nodes of which encode both the visual and textual features of detected text regions, and edges of which represent the spatial relations between neighboring text regions. The key information extraction is solved by iteratively propagating messages along graph edges and reasoning the categories of graph nodes. In order to roundly evaluate our proposed method as well as boost the future research, we release a new dataset named WildReceipt, which is collected and annotated tailored for the evaluation of key information extraction from document images of unseen templates in the wild. It contains 25 key information categories, a total of about 69000 text boxes, and is about 2 times larger than the existing public datasets. Extensive experiments validate that all information including visual features, textual features and spatial relations can benefit key information extraction. It has been shown that SDMG-R can effectively extract key information from document images of unseen templates, and obtain new state-of-the-art results on the recent popular benchmark SROIE and our WildReceipt. Our code and dataset will be publicly released.

研究の動機と目的

• 未学習のドキュメントレイアウトに一般化できないテンプレートベース手法の限界を解消し、文字認識エラーに敏感である問題を是正すること。
• 視覚的および文脈的特徴と、ライン単位のアラインメントを超えた空間的文脈を活用する、耐障害性に優れたエンドツーエンドのキーメタデータ抽出手法を開発すること。
• 未学習のテンプレートへの一般化を現実的かつ制約のない画像条件下で評価できる、大規模な新規ベンチマークデータセットWildReceiptを構築すること。
• 視覚的・文脈的特徴と空間的グラフ構造の統合的推論が、抽出精度を顕著に向上させることを実証すること。

提案手法

• 検出されたテキストボックスをノードとする空間的二重モダリティグラフとしてドキュメント画像をモデル化し、視覚的特徴（CNN）と文脈的特徴（RNN）を統合する。
• 隣接するテキスト領域間の2次元空間的近接性に基づいてグラフエッジを定義し、関係的文脈を符号化する。
• 学習可能なアテンション重みを備えたグラフ畳み込みネットワーク（GCN）を用い、エッジに沿ってノード表現を反復的に伝達・精緻化する。
• 視覚的および文脈的特徴を統合表現に効果的に統合するため、クリロネッカー積に基づくブロック対角テンソル分解を導入する。
• グラフ推論モジュールでマルチヘッドアテンションを適用し、メッセージパッシング中に隣接ノードの重要性を動的に重み付けする。
• キーメタデータおよび値メタデータ分類の両方の交差エントロピー損失を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ライン単位の文脈を超えて、視覚的・文脈的および空間的関係的特徴を統合的に推論することで、キーメタデータ抽出の性能が向上するか？
• RQ2 非共線的なテキスト領域間の空間的関係を組み込むことで、未学習のテンプレートに対する性能にどのような影響を与えるか？
• RQ3 二重モダリティ特徴（視覚的＋文脈的）は、認識エラーおよびレイアウトの変動に対してどれほど耐性を示すか？
• RQ4 グラフ推論の反復回数がモデルの性能および一般化能力に与える影響はどの程度か？
• RQ5 "WildReceipt"のように、細分化され現実的である新規データセットは、従来のベンチマークよりも一般化性能の評価をより適切に行えるか？

主な発見

• SDMG-Rは、WildReceiptデータセットにおいて88.7%の新記録F1スコアを達成し、先行手法を顕著に上回った。
• グラフ推論を除去すると、WildReceiptにおけるF1スコアが11.5%絶対的に低下し、空間的メッセージパッシングが性能に不可欠であることが実証された。
• キーメタデータ分類を組み込むことで、値メタデータ分類のF1スコアが4.4%絶対的に向上し、その補助的利点が示された。
• 最適なグラフ推論反復回数はL=2であり、L>2では過学習のため性能が低下した。
• 提案された二重モダリティ特徴統合モジュールは、LinearSumやConcatMLPなどの代替手法を上回り、最適なブロックサイズおよびブロック数を用いることで特に顕著な性能向上を示した。
• 可視化により、長距離間でさえも意味的・意味論的に関連する空間的アテンション重みをモデルが学習していることが確認された。例えば、「Total value」と「Total key」を結ぶ関係が明確に捉えられていた。