[論文レビュー] TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents

Zhanzhan Cheng, Peng Zhang+7 more|arXiv (Cornell University)|Jul 14, 2022

Handwritten Text Recognition Techniques被引用数 4

ひとこと要約

本稿では、視覚的豊富な文書（VRD）情報抽出のための統合的エンドツーエンドフレームワークであるTRIE++を提案する。マルチモーダルコンテキストブロックを用いて視覚的、文書的、レイアウト特徴を統合し、テキスト読み取りと情報抽出を同時に最適化することで、多様な文書タイプやレイアウトにおいて最先端の性能を達成した。従来の2段階手法を顕著に上回った。

ABSTRACT

Recently, automatically extracting information from visually rich documents (e.g., tickets and resumes) has become a hot and vital research topic due to its widespread commercial value. Most existing methods divide this task into two subparts: the text reading part for obtaining the plain text from the original document images and the information extraction part for extracting key contents. These methods mainly focus on improving the second, while neglecting that the two parts are highly correlated. This paper proposes a unified end-to-end information extraction framework from visually rich documents, where text reading and information extraction can reinforce each other via a well-designed multi-modal context block. Specifically, the text reading part provides multi-modal features like visual, textual and layout features. The multi-modal context block is developed to fuse the generated multi-modal features and even the prior knowledge from the pre-trained language model for better semantic representation. The information extraction part is responsible for generating key contents with the fused context features. The framework can be trained in an end-to-end trainable manner, achieving global optimization. What is more, we define and group visually rich documents into four categories across two dimensions, the layout and text type. For each document category, we provide or recommend the corresponding benchmarks, experimental settings and strong baselines for remedying the problem that this research area lacks the uniform evaluation standard. Extensive experiments on four kinds of benchmarks (from fixed layout to variable layout, from full-structured text to semi-unstructured text) are reported, demonstrating the proposed method's effectiveness. Data, source code and models are available.

研究の動機と目的

• テキスト読み取りと情報抽出を独立した非相互作用的タスクとして扱う従来の2段階VRDシステムの限界を解消する。
• 視覚的豊富な文書のための統一的評価基準の欠如を克服し、レイアウトおよびテキストタイプの次元に沿ってVRDを定義・グループ化する。
• テキスト読み取りと情報抽出の間で相互監視を可能にする統合的エンドツーエンド学習フレームワークを構築し、グローバル最適化を実現する。
• 固定／可変レイアウト、構造的／準構造的テキストの4つの文書カテゴリを対象として、再現可能性を促進するための標準化されたベンチマークと強力なベースラインを提供する。
• オフザシェルフOCRエンジンへの依存を低減し、ドメイン特化型のエンドツーエンドシステムを学習することで、実世界の文書変動に対する耐性を向上させる。

提案手法

• マルチモーダルコンテキストブロックを用いて、視覚的、文書的、レイアウト特徴を統合し、テキスト読み取りと情報抽出を1つのエンドツーエンドフレームワークに統合する。
• 文書画像からマルチモーダル特徴を抽出する：視覚的特徴はCNNまたはViTで、文書的特徴はトランスフォーマー基盤のエンコーダで、レイアウト特徴はバウンディングボックス座標から得る。
• 事前学習済み言語モデルの知識をマルチモーダルコンテキストブロックに統合し、意味的表現と文脈理解を強化する。
• 情報抽出損失がテキスト読み取りモジュールを、逆にテキスト読み取り損失が情報抽出モジュールを監視することで、バックプロパゲーションをエンドツーエンドで可能にし、相互最適化を実現する。
• 共通のエンコーダアーキテクチャを用いて文書特徴を処理し、スパンベースのヘッド予測によりエンティティ予測を生成する。
• 検出とラベル付けの両方の監視信号を活用して、エンドツーエンドの共同最適化で全システムを学習する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル特徴統合によるテキスト読み取りと情報抽出の共同最適化は、視覚的豊富な文書における性能向上に寄与するか？
• RQ2 視覚的、文書的、レイアウト特徴に加え、事前学習済み言語モデルの知識を統合することで、文書理解における意味的表現はどのように向上するか？
• RQ3 2段階パイプラインと比較して、エンドツーエンド学習は誤差伝搬をどの程度軽減し、実世界の文書変動に対する耐性を向上させるか？
• RQ4 レイアウトおよびテキストタイプに基づく異なる文書カテゴリ（固定／可変レイアウト、構造的／準構造的テキスト）は、エンドツーエンド情報抽出システムの性能にどのような影響を及ぼすか？
• RQ5 標準化された評価プロトコルを備えた統合的ベンチマークフレームワークは、VRD研究における再現可能性と進展をどのように向上させるか？

主な発見

• TRIE++は、固定および可変レイアウトの文書に加え、構造的および準構造的テキストを含む4つのベンチマークカテゴリで最先端の性能を達成した。
• エンドツーエンド学習戦略により、テキスト読み取りと情報抽出の両方の性能が顕著に向上した。特に、カテゴリII、III、IVでは、テキスト認識モジュールが主なボトルネックとなった。
• マルチモーダルコンテキストブロックは、視覚的、文書的、レイアウト特徴を効果的に統合し、複雑なレイアウトや長いテキストシーケンスにおいてもエンティティ認識性能を向上させた。
• テキスト読み取りと情報抽出の間で相互監視を活用することで、従来の2段階アプローチを上回り、誤差蓄積を低減した。
• 広範なアブレーションスタディの結果、事前学習済み言語モデルの知識統合とレイアウトに配慮した特徴の統合が、性能向上に顕著な貢献をした。
• 提案されたベンチマークと強力なベースラインは、VRD研究における統一的評価基準の欠如を解消する標準化された評価プラットフォームを提供した。