[論文レビュー] Abstractive Information Extraction from Scanned Invoices (AIESI) using End-to-end Sequential Approach

S. V. Patel, Dvijesh Bhatt|arXiv (Cornell University)|Sep 12, 2020

Stock Market Forecasting Methods参考文献 16被引用数 12

ひとこと要約

この論文は、スキャン済みの請求書からの要約的情報抽出（AIESI）のためのエンドツーエンドの逐次モデルを提案する。このモデルは、単語ごとのBiLSTMとBERT埋め込み、およびResNet50を用いた視覚的特徴を、バウンディングボックスレベルでテキスト的、視覚的、空間的特徴を統合する。SROIEデータセットにおいて88.2%のF1スコアを達成し、文字レベルおよび単語レベルのBiLSTMベースラインを上回り、キーパramータ抽出における正確性の向上と不連続タギングの低減を示した。

ABSTRACT

Recent proliferation in the field of Machine Learning and Deep Learning allows us to generate OCR models with higher accuracy. Optical Character Recognition(OCR) is the process of extracting text from documents and scanned images. For document data streamlining, we are interested in data like, Payee name, total amount, address, and etc. Extracted information helps to get complete insight of data, which can be helpful for fast document searching, efficient indexing in databases, data analytics, and etc. Using AIESI we can eliminate human effort for key parameters extraction from scanned documents. Abstract Information Extraction from Scanned Invoices (AIESI) is a process of extracting information like, date, total amount, payee name, and etc from scanned receipts. In this paper we proposed an improved method to ensemble all visual and textual features from invoices to extract key invoice parameters using Word wise BiLSTM.

研究の動機と目的

• スキャン済みの請求書から日付、合計金額、支払者名などのキーパramータを高い正確性と低い曖昧さで抽出する課題に対処すること。
• 多様な請求書構造に一般化できないルールベースおよび分類ベースのKIPE手法の限界を克服すること。
• 単語や文字ではなく、バウンディングボックスを原子的単位としてモデル化することで、キーパramータ抽出における不連続または誤ったタギングを低減すること。
• 深部文脈的テキスト埋め込み（BERT）に加え、視覚的特徴（ResNet50経由）と空間的特徴（正規化座標、面積比）を統合することで性能を向上させること。
• 自動会計やデータアーカイブなどの商業用途における、強力でスケーラブルかつ多言語対応のドキュメント処理を可能にすること。

提案手法

• 各請求書領域をテキスト的、視覚的、空間的特徴でエンコードするバウンディングボックスレベルの表現を用いる。
• 文脈的な単語埋め込みにBERT-baseを用い、固有表現を#NAME#、数字を#NUMBER#にマッピングすることで耐性を高める。
• 切り出し済みのバウンディングボックスから視覚的埋め込みを抽出するため、ResNet50を適用し、レイアウトおよびフォント特性を捉える。
• 手作業で設計された空間的特徴（正規化座標、文書全体に対する面積比、単位面積あたりの文字密度）を統合する。
• 768次元のBERT埋め込み、128次元の視覚的特徴、6次元の空間的特徴を統合し、各バウンディングボックスごとに統一されたベクトルを生成する。
• 連結された特徴ベクトル上で単語ごとのBiLSTM分類器を学習し、各バウンディングボックスに対してキーパramータラベル（例：'date'、'total'）を予測する。

実験結果

リサーチクエスチョン

• RQ1 変動するレイアウトを持つスキャン済み請求書において、視覚的および空間的特徴を深部文脈的テキスト埋め込みと統合することで、キーパラメータ抽出の正確性が向上するか？
• RQ2 文字レベルや単語レベルのシーケンスタギングと比較して、バウンディングボックスレベルの分類が、不連続または誤ったラベル予測の低減に効果を発揮するか？
• RQ3 本手法のエンドツーエンドモデルは、実世界の請求書データセットにおいて、ルールベースおよび従来の分類ベースのKIPE手法を上回る性能を示すか？
• RQ4 視覚的および空間的特徴が、多様な構造を持つ請求書にわたる一般化にどの程度寄与するか？
• RQ5 本モデルは、商業用途におけるスケーラブルで多言語対応のドキュメント処理において、高い正確性と低レイテンシを達成できるか？

主な発見

• 提案手法はSROIEデータセットで88.2%のF1スコアを達成し、文字レベルのBiLSTM（75.4%）および単語レベルのBiLSTM（83.4%）を顕著に上回った。
• 視覚的および空間的特徴の統合により、シーケンスベースのモデルで一般的な不連続タギング問題が軽減され、より一貫性があり正確なラベル付けが可能になった。
• バウンディングボックスレベルの分類により、テキストが断片的または不規則なフォーマットであっても、キーパラメータの局所化とラベル付けがより良好に実現された。
• 本モデルは請求書の構造的ばらつきに対して頑健であることが示され、ドキュメント集約分野における実世界の展開に適している。
• 性能は初期のOCRおよびバウンディングボックス検出の正確性に強く依存しており、局所化が不正確だと全体のパイプライン性能が低下する。