[論文レビュー] DocTr: Document Transformer for Structured Information Extraction in Documents

Haofu Liao, Aruni RoyChowdhury+7 more|arXiv (Cornell University)|Jul 16, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、構造化情報抽出（SIE）をアンカーベースのオブジェクト検出タスクに定式化するDocTrというドキュメントトランスフォーマーモデルを提案する。エンティティはアンカーワードとバウンディングボックスで表現され、テキストの順序依存性を低減し、エンティティリンクの簡素化を図る。この手法は、3つのSIEベンチマークで既存のIOBおよびグラフベースの手法を上回り、新しいマスク検出モデリング事前学習タスクを用いたCordレシート解析では94.4%のF1スコアを達成した。

ABSTRACT

We present a new formulation for structured information extraction (SIE) from visually rich documents. It aims to address the limitations of existing IOB tagging or graph-based formulations, which are either overly reliant on the correct ordering of input text or struggle with decoding a complex graph. Instead, motivated by anchor-based object detectors in vision, we represent an entity as an anchor word and a bounding box, and represent entity linking as the association between anchor words. This is more robust to text ordering, and maintains a compact graph for entity linking. The formulation motivates us to introduce 1) a DOCument TRansformer (DocTr) that aims at detecting and associating entity bounding boxes in visually rich documents, and 2) a simple pre-training strategy that helps learn entity detection in the context of language. Evaluations on three SIE benchmarks show the effectiveness of the proposed formulation, and the overall approach outperforms existing solutions.

研究の動機と目的

• 視覚的に豊かなドキュメントからの構造化情報抽出におけるIOBタギングおよびグラフベース手法の限界を解決すること。
• エンティティをアンカーワードとバウンディングボックスとしてモデル化することで、正しいテキスト読み順への依存性を低減すること。
• アンカーワード間の関連性による簡潔なグラフを用いてエンティティリンクを簡素化すること。
• バウンディングボックスとテキスト予測に特化した新しい事前学習タスクを通じてドキュメント理解を向上させること。
• 視覚と言語を統合したワンストップのビジョン・ランゲージモデルを構築し、言語条件付きクエリを用いてエンティティを同時に検出し、リンクすること。

提案手法

• SIEをアンカーベースの検出問題として定式化：各エンティティはアンカーワードとバウンディングボックスで表現され、エンティティリンクはアンカーワード間の関連性としてモデル化される。
• OCRから出力への1対1マッピングを実現するため、ビジョンエンコーダ、ランゲージエンコーダ、および言語条件付きクエリ（LCQ）を備えたビジョン・ランゲージデコーダを統合したDocTrというビジョン・ランゲージトランスフォーマーを導入する。
• OCRテキストとバウンディングボックスの両方をマスクする、マスク検出モデリング（MDM）という事前学習タスクを提案。モデルはマスクされた単語とその位置を予測する必要がある。
• 事前学習および微調整の段階で、バウンディングボックスの検出損失とテキストの言語モデリング損失を組み合わせたマルチタスク損失を用いる。
• クロスアテンション層で言語条件付きクエリ（LCQ）を適用し、OCRトークンと予測エンティティボックスの間のアライメントをモデルがガイドできるようにする。
• 標準的な検出および分類ヘッドを用いて、下流のSIEタスクでモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 IOBタギングと比較して、検出ベースのSIE定式化は、入力テキストの順序依存性を低減できるか？
• RQ2 アンカーワードの関連性によるエンティティリンクのモデル化は、複雑なグラフベース手法と比較してデコードのロバスト性を向上させるか？
• RQ3 テキストとバウンディングボックスの両方を同時にマスクするタスク（MDM）は、ドキュメント内のエンティティ検出および局所化を向上させられるか？
• RQ4 統合されたトランスフォーマー・アーキテクチャを用いたビジョンと言語モデリングの統合は、ドキュメント理解においてどの程度効果的か？
• RQ5 言語条件付きクエリの統合は、OCRトークンと予測エンティティボックスの間のアライメントをどの程度向上させるか？

主な発見

• 提案されたアンカーベースの定式化は、3つのSIEベンチマークすべてでIOBタギングおよびグラフベース手法を上回り、Cordレシート解析タスクでは94.4%のF1スコアを達成した。
• マスク検出モデリング（MDM）事前学習タスクは性能を顕著に向上させ、事前学習なしおよびMVLM事前学習と比較して、特にバウンディングボックス予測において優れた結果を示した。
• ビジョンエンコーダ、ランゲージエンコーダ、VLデコーダを備えた完全なDocTrモデルは、Cordで94.4%のF1スコアを達成し、MVLM事前学習と比較して4.1%の向上を示した。
• アブレーションスタディの結果、ビジョンエンコーダおよび言語条件付きクエリ（LCQ）が極めて重要であることが判明。LCQはELBで1.3%、ELKで1.1%の性能向上をもたらした。
• モデルはドキュメントタイプを問わず良好に一般化しており、FUNSD（ELBで84.0% F1）およびCORD（パースングで94.4% F1）で強く性能を発揮した。アンカーワードがエンティティタイプごとに異なる場合でも同様の結果を示した。
• 例示予測では、モデルが視覚的文脈を活用して、価格などの非テキスト的値を正確に予測する能力を示した。