[論文レビュー] StructuralLM: Structural Pre-training for Form Understanding

Chenliang Li, Bin Bi+5 more|arXiv (Cornell University)|May 24, 2021

Handwritten Text Recognition Techniques参考文献 24被引用数 9

ひとこと要約

StructuralLM は、セルを意味的単位として扱い、セル単位の2次元位置埋め込みと新しいセル位置分類の事前学習目的を用いて、フォームおよびドキュメント理解のための画期的な事前学習アプローチを提案する。画像特徴量に依存せずにセルとレイアウトの統合的表現を活用することで、フォーム理解（85.14 F1）、ドキュメントVQA（83.94 F1）、ドキュメント画像分類（96.08 正解率）のすべてのタスクで最先端の結果を達成し、LayoutLM や他のベースラインを上回る性能を発揮する。

ABSTRACT

Large pre-trained language models achieve state-of-the-art results when fine-tuned on downstream NLP tasks. However, they almost exclusively focus on text-only representation, while neglecting cell-level layout information that is important for form image understanding. In this paper, we propose a new pre-training approach, StructuralLM, to jointly leverage cell and layout information from scanned documents. Specifically, we pre-train StructuralLM with two new designs to make the most of the interactions of cell and layout information: 1) each cell as a semantic unit; 2) classification of cell positions. The pre-trained StructuralLM achieves new state-of-the-art results in different types of downstream tasks, including form understanding (from 78.95 to 85.14), document visual question answering (from 72.59 to 83.94) and document image classification (from 94.43 to 96.08).

研究の動機と目的

• スキャン済みのドキュメントにおけるテキストのみの処理にとどまり、セルレベルのレイアウト構造を無視する既存の事前学習モデルの限界を是正すること。
• 同じセル内の単語を個別のトークンとしてではなく、意味的単位として扱うことで、フォーム理解の性能を向上させること。
• セルとレイアウトの間の相互作用を強化するために、セル単位の2次元位置埋め込みと、新しいセル位置分類の事前学習目的を導入すること。
• 画像特徴量に依存せずに、下流のドキュメント理解タスクで最先端の性能を達成すること。

提案手法

• StructuralLM は、同じセル内のすべてのトークンが同じ2次元位置埋め込みを共有するセル単位の2次元位置埋め込みを備えた、BERTベースのTransformerエンコーダーを用いる。
• セル内でのトークンの順序を保持するために、各セル内に1次元位置埋め込みを維持する。
• 新しい事前学習目的として、セル位置分類を導入：一部のセルの2次元位置をマスクし、モデルにマスクされたセルがN個の等しいサイズの領域のうちどれに属するかを予測させる。
• マスクされた視覚的・言語的モデリング目的とセル位置分類の目的を用いて、大規模な未ラベル付きドキュメント画像でモデルを事前学習する。
• LayoutLMとは異なり、エンコーダーで画像埋め込みを省略することで、より効率的かつ実世界のドキュメントタスクに直接適用可能になる。
• フォーム理解、ドキュメントVQA、ドキュメント画像分類などの下流タスクでモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 単語レベルのモデリングと比較して、セルを意味的単位として扱うことで、フォームおよびドキュメント理解タスクの性能が向上するか？
• RQ2 セル位置分類の目的は、セルとレイアウト構造の間の空間的関係をどれほど効果的に捉えられるか？
• RQ3 セルレベルの意味と2次元レイアウト情報の統合的モデリングは、フォームや表のような多様なドキュメントタイプにわたる一般化性能を向上させるか？
• RQ4 画像特徴量を含まない事前学習モデルでも、ドキュメント理解タスクで最先端の結果を達成できるか？

主な発見

• StructuralLM はフォーム理解タスクで85.14 F1という新しい最先端のスコアを達成し、LayoutLM の78.95から向上した。
• ドキュメント視覚的質問応答（VQA）の性能は83.94 F1に向上し、LayoutLM の72.59から改善した。
• ドキュメント画像分類では96.08の正解率を達成し、LayoutLM の94.43から顕著な向上を示した。
• 3つのベンチマークデータセットすべてで強力なベースラインを上回り、セル単位のレイアウトモデリングの有効性を示した。
• 定性的な分析から、StructuralLM は同じセルからの完全なエンティティ（例：'800/424-9876 にコール・コニー・ドラスまたはキャロル・マスグレイブへ'）を1つの単位として正しく予測するのに対し、LayoutLM はそれらを分割してしまうことが分かった。
• アブレーションスタディにより、セル単位の2次元位置埋め込みとセル位置分類の目的の両方が、性能向上に顕著な寄与をしていることが確認された。