[論文レビュー] TRIE: End-to-End Text Reading and Information Extraction for Document Understanding

Peng Zhang, Yunlu Xu+6 more|arXiv (Cornell University)|May 27, 2020

Handwritten Text Recognition Techniques参考文献 62被引用数 12

ひとこと要約

本稿では、視覚的に豊富なドキュメント（VRD）におけるテキスト読み取りと情報抽出を統合的に最適化するエンド・ツー・エンドの統一フレームワーク、TRIEを提案する。マルチモーダルな視覚的・テキスト的特徴を統合し、タスク間の相互監視を可能にすることで、構造的・準構造的・固定レイアウト・可変レイアウトのドキュメントを含む多様なドキュメントタイプにおいて、最先端の精度と速度を達成する。

ABSTRACT

Since real-world ubiquitous documents (e.g., invoices, tickets, resumes and leaflets) contain rich information, automatic document image understanding has become a hot topic. Most existing works decouple the problem into two separate tasks, (1) text reading for detecting and recognizing texts in images and (2) information extraction for analyzing and extracting key elements from previously extracted plain text. However, they mainly focus on improving information extraction task, while neglecting the fact that text reading and information extraction are mutually correlated. In this paper, we propose a unified end-to-end text reading and information extraction network, where the two tasks can reinforce each other. Specifically, the multimodal visual and textual features of text reading are fused for information extraction and in turn, the semantics in information extraction contribute to the optimization of text reading. On three real-world datasets with diverse document images (from fixed layout to variable layout, from structured text to semi-structured text), our proposed method significantly outperforms the state-of-the-art methods in both efficiency and accuracy.

研究の動機と目的

• ドキュメント理解における分離されたテキスト読み取りと情報抽出パイプラインの限界を解決する。
• テキスト読み取りと情報抽出の間で相互監視を活用し、両タスクの性能を向上させる。
• 視覚的・テキスト的・位置的特徴を統合することで、情報抽出のパフォーマンスを向上させる。
• テキスト読み取りと情報抽出モジュール間で特徴を共有することで、計算の冗長性を低減する。
• インvoice、レジュメ、チケットを含む多様なドキュメントタイプにおいて、最先端のパフォーマンスを達成する。

提案手法

• テキスト読み取りと情報抽出モジュールを共同で学習するエンド・ツー・エンドのディープラーニングフレームワーク、TRIEを提案する。
• 画像パッチからの視覚的特徴とOCRからのテキスト的特徴を統合し、情報抽出の入力品質を向上させる。
• テキストスパン間の依存関係を捉えるために、Transformerベースのテクスチャラルコンテキストブロックを用いたテキストコンテキストモデリングを行う。
• 空間的レイアウトと視覚的ヒント（例：フォントサイズ、太字）を活用する視覚的コンテキストブロックを導入し、認識・抽出の精度を向上させる。
• 共同損失最適化を適用：情報抽出の損失がテキスト読み取りを監視し、テキスト読み取りの特徴がIEのパフォーマンスを向上させる。
• テキスト読み取りと情報抽出の間で特徴を共有することで、推論効率を向上させ、冗長な計算を削減する。

Figure 1. Examples of VRDs and example entities to extract. Sensitive information like name and contact information in resumes are pixelated to preserve privacy. Best viewed in color.

実験結果

リサーチクエスチョン

• RQ1 分離されたパイプラインと比較して、テキスト読み取りと情報抽出の共同学習が性能向上に寄与するか？
• RQ2 マルチモーダル特徴（視覚的・テキスト的・位置的）が情報抽出の精度にどのように寄与するか？
• RQ3 情報抽出からのフィードバックを通じて、エンド・ツー・エンド学習がテキスト読み取りの精度をどの程度向上させるか？
• RQ4 固定レイアウト対可変レイアウト、構造的対準構造的など、レイアウトや構造が異なるドキュメントタイプに、モデルはどの程度一般化するか？
• RQ5 異なるドキュメントタイプに最適なモデルの深さ（レイヤー数/ヘッド数）の設定は何か？

主な発見

• TRIEは3つのデータセットで情報抽出の精度が93.26%に達し、最先端の手法を最大1.56ポイント上回った。
• エンド・ツー・エンド学習により、パイプライン学習と比較してテキスト読み取りのF1スコアが0.9ポイント向上し、'23.3km' や '2017-12-21' のような曖昧なテキストの正しく認識された。
• 視覚的コンテキストの導入により、テキストのみの状態（74.33%）からTRIEの93.26%にIE精度が向上し、マルチモーダル特徴の有効性が示された。
• レジュメでは1.76 fpsで実行され、パイプラインベースライン（1.13–1.69 fps）を上回った。これは特徴共有と冗長性の低減によるものである。
• アブレーション実験では、複雑で可変レイアウトのドキュメント（例：レジュメ）では3層・16ヘッドの深層ネットワークが最良の性能を示したが、固定レイアウトドキュメントには単純なモデルで十分であった。
• 視覚的コンテキストは、太字や大ぶりなフォントで強調されたエンティティ（例：'Taxi Code'）の区別に特に効果的であり、テキストコンテキストは曖昧な表現や順序依存関係の解消に貢献した。

Figure 2. Comparison of VRD understanding architectures: (a) IE with plain text, (b) IE with text and position, (c) IE with position and visual features in addition to plain text, (d) our proposed TRIE. The black and red arrows mean the forward and backward processing, respectively. Best viewed in c