[論文レビュー] LAMBERT: Layout-Aware (Language) Modeling for information extraction

Łukasz Garncarek, Rafał Powalski+5 more|arXiv (Cornell University)|Feb 19, 2020

Handwritten Text Recognition Techniques参考文献 34被引用数 87

ひとこと要約

LAMBERT は、トークンのバウンディングボックス座標を入力埋め込みに組み込むことで RoBERTa を拡張するレイアウトに配慮した言語モデルであり、生の画像を用いずにドキュメントのレイアウトを文脈的に理解できる。情報抽出タスクにおいて最先端の性能を達成し、SROIE リーダーボードで 98.17 の F1 スコアで1位を記録。Kleister NDA データセットではベースライン RoBERTa よりも 1.92 F1 ポints 向上した。

ABSTRACT

We introduce a simple new approach to the problem of understanding documents where non-trivial layout influences the local semantics. To this end, we modify the Transformer encoder architecture in a way that allows it to use layout features obtained from an OCR system, without the need to re-learn language semantics from scratch. We only augment the input of the model with the coordinates of token bounding boxes, avoiding, in this way, the use of raw images. This leads to a layout-aware language model which can then be fine-tuned on downstream tasks. The model is evaluated on an end-to-end information extraction task using four publicly available datasets: Kleister NDA, Kleister Charity, SROIE and CORD. We show that our model achieves superior performance on datasets consisting of visually rich documents, while also outperforming the baseline RoBERTa on documents with flat layout (NDA \(F_{1}\) increase from 78.50 to 80.42). Our solution ranked first on the public leaderboard for the Key Information Extraction from the SROIE dataset, improving the SOTA \(F_{1}\)-score from 97.81 to 98.17.

研究の動機と目的

• 視覚的に豊かなドキュメントにおけるレイアウト意味を標準的な NLP モデルが捉えきれないという限界に対処すること。
• 微調整を必要とせず、事前学習済み言語モデルにレイアウト特徴を統合できるシンプルで効率的な手法の開発。
• フォーム、表、法的文書などの複雑なレイアウトを有するドキュメントにおけるエンドツーエンドの情報抽出を改善すること。
• 平坦なテキストドキュメントの性能を損なわず、大規模なドキュメントコレクションを用いた教師なし事前学習を可能にすること。
• バウンディングボックス座標のみを用いることで、既存の OCR パipラインと互換性のある即席型ソリューションを提供すること。

提案手法

• RoBERTa の入力埋め込みにトークンの 2D バウンディングボックス座標を追加し、元のモデルアーキテクチャを維持する。
• トークン間の空間的関係をモデル化するために、自己注意機構に相対的な 2D 位置バイアスを導入する。
• レイアウト埋め込みをモデルの隠れ次元に射影するアダプタ層を導入し、レイアウトと意味的特徴の制御された統合を可能にする。
• 品質と多様性を考慮してフィルタリングされた 200 万ページ分の視覚的に豊かなドキュメントデータセットを用いて、教師なしでモデルを学習する。
• レイアウトのアノテーションを必要とせず、下流の情報抽出タスクで微調整する。
• レイアウト埋め込みの種類、次元、学習データサイズの影響を孤立させるために、アブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み RoBERTa モデルにバウンディングボックス座標を組み込むことで、視覚的に複雑なドキュメントからの情報抽出性能が著しく向上するか？
• RQ2 平坦で直線的なレイアウトのドキュメントにおいて、レイアウト特徴の組み込みが性能に与える影響はいかほどか？
• RQ3 トランスフォーマーに基づくアーキテクチャ内でのレイアウト情報統合の最適な方法は何か？絶対的レイアウト埋め込み、相対的注意バイアス、あるいは両方の組み合わせか？
• RQ4 より大規模で高品質な教師なし事前学習データセットを用いることで、レイアウト拡張モデルの性能が向上するか？
• RQ5 アダプタ層が、意味的表現とレイアウト表現のバランスを取る能力に与える影響は何か？

主な発見

• LAMBERT は SROIE データセットで 98.17 の最先端 F1 スコアを達成し、以前の SOTA（97.81）を上回った。
• Kleister NDA データセットでは、RoBERTa ベースラインの F1 スコア 78.50 から LAMBERT で 80.42 に向上し、1.92 ポイントの改善を達成した。
• フォームや法的契約書のような視覚的に豊かなドキュメントを含む、全 4 データセットで RoBERTa を上回った。
• アブレーションスタディの結果、順序付き埋め込みとレイアウト埋め込みに相対的 2D 注意バイアスを組み合わせた構成が最も優れた結果を示し、SROIE* および CORD で統計的有意性を示した。
• 7500 万ページ分のより大規模でフィルタリングされた事前学習データセットを用いることで、Kleister Charity および SROIE* で顕著な性能向上が得られた。これは、データ品質とスケールが極めて重要であることを示している。
• 768 次元のレイアウト埋め込みを用い、アダプタ層を設けないモデルが Kleister Charity で他の設定を上回った。これは、アダプタが不要な状況では、レイアウト信号の直接的な統合がより効果的である可能性を示唆している。