[論文レビュー] Chargrid: Towards Understanding 2D Documents

Anoop R Katti, Christian Reisswig+5 more|arXiv (Cornell University)|Sep 24, 2018

Handwritten Text Recognition Techniques参考文献 21被引用数 15

ひとこと要約

本論文では、文字を2次元グリッドに符号化することで空間的レイアウトを保持する、Chargridと呼ばれるドキュメントの2次元グリッド表現を導入する。これにより、完全畳み込み型エンコーダ・デコーダモデルが構造化ドキュメントのインスタンスレベルの意味的セグメンテーションとボクシングボックス予測を実行可能となる。この手法は、空間的およびテクスト的文脈を同時に活用することで、インvoice情報抽出においてNLPおよびコンピュータビジョンのベースラインを著しく上回る性能を発揮する。

ABSTRACT

We introduce a novel type of text representation that preserves the 2D layout of a document. This is achieved by encoding each document page as a two-dimensional grid of characters. Based on this representation, we present a generic document understanding pipeline for structured documents. This pipeline makes use of a fully convolutional encoder-decoder network that predicts a segmentation mask and bounding boxes. We demonstrate its capabilities on an information extraction task from invoices and show that it significantly outperforms approaches based on sequential text or document images.

研究の動機と目的

• 構造的レイアウトを有するドキュメントを理解する際、逐次的NLPモデルおよび純粋な視覚的コンピュータビジョン手法の限界を克服すること。
• 意味的理解に不可欠なテキスト要素間の空間的関係（位置、配置、サイズなど）を保持・活用すること。
• 2次元テキスト表現に直接作用する汎用的でエンドツーエンドのディープラーニングパイプラインを構築すること。
• 2次元表現がレイアウトに配慮した推論を要する複雑な情報抽出タスクにおいて優れていることを実証すること。

提案手法

• 各ドキュメントページを、各文字がその空間的座標にマッピングされたスパースな2次元グリッド（chargrid）として表現する。
• 完全畳み込み層を用いたエンコーダ・デコーダアーキテクチャを用いて、ピクセル単位のセグメンテーションマスクおよびオブジェクトのボクシングボックスを予測する。
• セグメンテーションのための交差エントロピーとオブジェクト検出のためのボックス損失を組み合わせたジョイント損失関数を用いてモデルを訓練する。
• 画像エンコーダとchargrid表現を統合することで、視覚的およびテクスト的特徴を融合したハイブリッドモデルを構築する。
• カテゴリカル性を保持するため、文字を1-ホットベクトルとして符号化し、非常にスパースな入力表現を生成する。
• 重み減衰とラベルスムージングを用いた確率的勾配降下法により、モデルをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 テキストの2次元グリッド表現は、ドキュメント理解に不可欠な空間的関係を保持できるか？
• RQ2 Chargridベースのモデルは、逐次的NLPモデルおよび画像ベースのコンピュータビジョンモデルと比較して、構造化ドキュメント理解においてどのように性能を発揮するか？
• RQ3 2次元空間的構造は、行項目認識のような複雑な情報抽出タスクにおいて、どの程度性能を向上させるか？
• RQ4 Chargrid表現は、異なるドキュメントタイプやレイアウトの複雑さに一般化可能か？
• RQ5 ハイブリッドモデルにおけるChargridブランチと画像エンコーダブランチの寄与度はどの程度か？

主な発見

• Chargridモデルは、特にVendor Address や Line-item Quantity といった複雑なフィールドにおいて、最先端のNLPおよびコンピュータビジョンモデルを著しく上回る性能を発揮する。
• モデルはテキストコンテンツと空間的レイアウトの両方を高い精度で検出でき、2次元構造を活用しない逐次モデルに比べて優れた性能を示す。
• Chargridエンコーダと画像エンコーダを組み合わせたハイブリッドモデルは、Chargridオンリーモデルを上回る性能を発揮せず、Chargridが大部分の特徴を捉えていることを示している。
• Chargridブランチのチャネル数をC32に制限したChargrid-hybrid-C32モデルでは、顕著に精度が低下しており、Chargrid表現が性能の主因であることを確認している。
• 誤差解析の結果、異常な構造を持つ行項目に対してモデルが苦戦することが判明したが、多くの誤りは曖昧な正解アノテーションに起因している。
• 収束までに最大3日間を要するなど、逐次モデルが数時間で収束するのと比較して、計算コストが高くなることが判明している。