[論文レビュー] End-to-End Information Extraction by Character-Level Embedding and Multi-Stage Attentional U-Net

Tuan Anh Dang, Dat Nguyen|arXiv (Cornell University)|Jun 2, 2021

Handwritten Text Recognition Techniques被引用数 11

ひとこと要約

本稿では、2次元文字グリッド埋め込みを用いたドキュメント画像情報抽出のためのエンドツーエンド深層学習アーキテクチャとして、マルチステージアテンションU-Net（MSAU）を提案する。マルチステージエンコーダーデコーダー、自己注意機構、ボックス畳み込みを統合することで、MSAUは日本語インvoiceデータセットで87.2%のmIOUを達成し、ベースラインU-Netより6.5%高い性能を示した。また、パrameter数を40%削減し、低データ量および高OCR誤り率の条件下でも頑健性を示した。

ABSTRACT

Information extraction from document images has received a lot of attention recently, due to the need for digitizing a large volume of unstructured documents such as invoices, receipts, bank transfers, etc. In this paper, we propose a novel deep learning architecture for end-to-end information extraction on the 2D character-grid embedding of the document, namely the extit{Multi-Stage Attentional U-Net}. To effectively capture the textual and spatial relations between 2D elements, our model leverages a specialized multi-stage encoder-decoders design, in conjunction with efficient uses of the self-attention mechanism and the box convolution. Experimental results on different datasets show that our model outperforms the baseline U-Net architecture by a large margin while using 40\% fewer parameters. Moreover, it also significantly improved the baseline in erroneous OCR and limited training data scenario, thus becomes practical for real-world applications.

研究の動機と目的

• 変則的なフォーマットと複雑なレイアウトを有するドキュメントを扱う際のテンプレートベースおよびヒューリスティック手法の限界を解消すること。
• テキスト的および空間的特徴を同時にエンコードする2次元文字グリッド表現を活用することで、ドキュメント画像からのエンドツーエンド情報抽出を向上させること。
• 実世界の展開に不可欠なOCR誤りや限られた学習データに対して頑健である深層学習モデルの設計。
• マルチステージトレーニングパラダイムにより、テキスト的特徴と空間的推論を分離することで、特徴学習を強化すること。
• 自己注意機構、ボックス畳み込み、マルチステージ学習が複雑なドキュメントレイアウトをモデル化する有効性を検証すること。

提案手法

• ドキュメント画像の2次元文字グリッド表現を用いて、局所的なテクスチャとグローバルな空間的構造を同時にエンコードする。
• マルチステージエンコーダーデコーダー構造により、初期段階でテキスト特徴の学習（テキスト的特徴）と後段階で空間的関係のモデリング（空間的関係）を分離する。
• 自己注意機構を用いて、文字グリッド内の空間的位置間の長距離依存性を捉える。
• ボックス畳み込み層により、空間的に構造化されたフィルタを学習することで、レイアウトパターンにおける空間的推論を向上させる。
• 補助損失を用いたマルチタスクトレーニング方式により、中間層の監視を強化し、特徴学習と一般化性能を向上させる。
• データオーグメンテーションとエンドツーエンド微分可能なトレーニングにより、アノテート済みドキュメントデータからの監視下で、すべてのコンponentsを統合最適化可能とする。

実験結果

リサーチクエスチョン

• RQ1 標準的なU-Netと比較して、マルチステージエンコーダーデコーダー構造はドキュメントレベル情報抽出の性能向上に寄与するか？
• RQ2 自己注意機構とボックス畳み込みは、2次元文字グリッドにおける長距離空間的およびテキスト的依存性のモデル化にどの程度有効か？
• RQ3 補助監視によるマルチステージ学習は、低データ量および高OCR誤り率の条件下でのモデル一般化性能を向上させるか？
• RQ4 アブレーション（例：注意機構、ボックス畳み込み）によって、複雑なレイアウトにおける性能向上にどの程度寄与しているか？
• RQ5 より少ないパrameter数を有するモデルは、実世界のドキュメントIEシナリオにおいて、U-Netのような大規模ベースラインを上回る性能を示せるか？

主な発見

• 提案されたMSAUモデルは、日本語インvoiceデータセットで87.2%のmIOUを達成し、ベースラインU-Netより6.5%高い性能を示した。
• MSAUは、パrameter数を40%削減しながらも、F1スコアで8.2%の向上（96.0 vs. 87.3）を達成した。
• マルチステージトレーニングの導入により、CUNet+NL+BC構成と比較してmIOUが3%向上し、特徴の分離（ディスエンタングルメント）の有効性が示された。
• ボックス畳み込みは性能向上に顕著な寄与を示し、特にマルチステージ学習と組み合わせた場合、ベースラインU-Netと比較してmIOUが3%向上した。
• 低データ環境下でも強力な頑健性を示し、補助損失が低データシナリオにおいてより大きな性能向上をもたらした。
• アブレーションスタディにより、自己注意機構、ボックス畳み込み、マルチステージ設計がすべて最終的な性能向上に有意義に寄与していることが確認された。