[論文レビュー] Robust Layout-aware IE for Visually Rich Documents with Pre-trained Language Models

Mengxi Wei, Yifan He+1 more|arXiv (Cornell University)|May 22, 2020

Multimodal Machine Learning Applications参考文献 36被引用数 4

ひとこと要約

本稿では、視覚的に豊富な文書（VRDs）からのロバストでレイアウトに配慮した情報抽出を実現するため、グラフニューラルネットワークを強化したRoBERTaモデルを提案する。テキスト、レイアウト、フォント、構造的特徴を統合し、インvoiceおよびレsumeデータセットでそれぞれ6.3%および4.7%の絶対的F1向上を達成。また、ドメイン内微調整の新規目的を導入することで、少データ学習設定においてラベル付けデータの必要量を最大30倍まで削減した。

ABSTRACT

Many business documents processed in modern NLP and IR pipelines are visually rich: in addition to text, their semantics can also be captured by visual traits such as layout, format, and fonts. We study the problem of information extraction from visually rich documents (VRDs) and present a model that combines the power of large pre-trained language models and graph neural networks to efficiently encode both textual and visual information in business documents. We further introduce new fine-tuning objectives to improve in-domain unsupervised fine-tuning to better utilize large amount of unlabeled in-domain data. We experiment on real world invoice and resume data sets and show that the proposed method outperforms strong text-based RoBERTa baselines by 6.3% absolute F1 on invoices and 4.7% absolute F1 on resumes. When evaluated in a few-shot setting, our method requires up to 30x less annotation data than the baseline to achieve the same level of performance at ~90% F1.

研究の動機と目的

• テキスト以外に、レイアウト、フォント、構造的手がかりを活用することで、インvoiceやレsumeなどの視覚的に豊富な文書（VRDs）における情報抽出（IE）の性能を向上させること。
• レイアウトの意味を無視するテキスト中心のモデルの限界を是正し、ドメイン特化で視覚的に複雑な文書での性能向上を図ること。
• 未ラベルのドメイン内データを活用したレイアウトに配慮したドメイン内微調整目的を導入することで、大規模ラベル付きデータへの依存度を低減すること。
• より優れたレイアウト符号化と自己教師付き事前学習により、モデルの一般化性能を向上させ、ロバストな少データ学習を可能にすること。
• 複数のレイアウト意味—例えばセクションタイトル、近接性、フォントの変化—を、マルチリレーショングラフニューラルネットワークを用いてモデル化すること。

提案手法

• ドキュメントのテキストから深層的文脈表現を捉えるために、RoBERTaをテキストエンコーダとして使用する。
• ノードがテキストボックスを表し、エッジが複数のレイアウト関係（隣接関係、セクションタイトル関係など）を符号化する非均質なグラフを構築する。
• ノード埋め込みにバウンディングボックス座標、フォントサイズ、フォントタイプなどの視覚的特徴を組み込み、レイアウト意味を豊かにする。
• 複数のエッジタイプをサポートするGCNベースのメッセージパッシング機構を採用し、多様なレイアウトパターンからの学習を可能にする。
• 2つのドメイン内微調整目的を導入：レイアウト関係を学習するためのシーケンス位置関係分類（SPRC）と、意味理解を保持するためのマスク言語モデル（MLM）。
• レsumeにおける歪んだレイアウト関係分布に対処するため、クラスバランスの取れたサンプリングを用いてSPRCを適用し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスを超えた豊かなレイアウト意味を統合することで、視覚的に豊富な文書における情報抽出性能が向上するか？
• RQ2 グラフニューラルネットワークは、文書におけるセクションタイトルやフォントベースのフォーマットなどの複雑なレイアウト関係をどれほど効果的にモデル化できるか？
• RQ3 レイアウトに配慮したドメイン内微調整は、少データ学習におけるラベル付きデータの必要量をどの程度削減できるか？
• RQ4 事前学習言語モデルとレイアウトに配慮したグラフエンコーダーを組み合わせることで、実世界のビジネス文書においてテキスト中心のベースラインよりも優れた性能が得られるか？
• RQ5 位置、フォント、セクション構造といったレイアウト特徴のうち、どの特徴がエンティティ抽出精度の向上に最も寄与しているか？

主な発見

• 提案モデルは、インvoiceデータセットでRoBERTaベースライン比6.3%の絶対的F1向上を達成し、レsumeデータセットでは4.7%の向上を示した。
• レsumeデータセットでは、MLMとSPRCの両方の目的で微調整した場合、F1が72.13に達し、単一目的やベースライン手法を上回った。
• アブレーションスタディの結果、セクションタイトルエッジを削除するとF1が0.8ポイント低下し、ドキュメント構造のモデル化におけるその重要性が示された。
• ノード埋め込みにフォント特徴を組み込むことで、F1が0.5ポイント向上し、コンテンツタイプの区別に有効であることが実証された。
• GCN層間のスキップ接続を削除すると、F1が0.4ポイント低下し、深層グラフ学習が残差接続により恩恵を受けることが示された。
• 少データ学習設定では、提案モデルはRoBERTaベースライン比最大30倍少ないラベル付きデータで約90%のF1を達成し、優れたデータ効率性を示した。