[論文レビュー] LAMBERT: Layout-Aware language Modeling using BERT for information extraction.

Łukasz Garncarek, Rafał Powalski+4 more|arXiv (Cornell University)|Feb 19, 2020

Natural Language Processing Techniques被引用数 25

ひとこと要約

LAMBERTは、微調整を再開することなく、事前学習された言語表現に文書のレイアウト特徴を統合するレイアウトに配慮したBERTベースのモデルを導入する。空間的およびテキスト特徴を変更されたTransformerを介して統合することで、特にレイアウトが意味的解釈に顕著に影響を与える状況において、文書理解タスクで最先端のパフォーマンスを達成する。

ABSTRACT

In this paper we introduce a novel approach to the problem of understanding documents where the local semantics is influenced by non-trivial layout. Namely, we modify the Transformer architecture in a way that allows it to use the graphical features defined by the layout, without the need to re-learn the language semantics from scratch, thanks to starting the training process from a model pretrained on classical language modeling tasks.

研究の動機と目的

• レイアウト特徴が局所的意味に顕著に影響を与える状況における文書理解の課題に対処すること。
• 位置、サイズ、近接性などのグラフィカルなレイアウト情報（例：座標）をBERTのような事前学習された言語モデルに統合すること。
• レイアウトに配慮した推論に適応させながらも、事前学習された言語表現を維持すること。
• フォームやインvoicesなどレイアウトに敏感な文書における情報抽出タスクのパフォーマンスを向上させること。

提案手法

• 自己注意計算に空間座標を組み込むレイアウト条件付き注意機構を導入することで、BERTアーキテクチャを拡張する。
• トークンのバウンディングボックス座標（x, y, 幅, 高さ）をワードピece埋め込みと併せて追加の入力埋め込みとして使用する。
• トークン埋め込みに連結される学習可能なレイアウト埋め込みを導入し、注意を空間的文脈に条件づける。
• 事前学習された言語理解能力を保持したまま、文書レベルの情報抽出タスクでエンドツーエンドに微調整する。
• 微調整中にテキスト特徴と空間特徴の両方を共同最適化するマルチモーダル統合戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習された言語部の再訓練なしに、レイアウト特徴を効果的に事前学習された言語モデルに統合できるか？
• RQ2 空間的レイアウト情報の組み込みが、レイアウトに敏感な状況における文書理解をどの程度向上させるか？
• RQ3 提案されたレイアウトに配慮した注意機構は、標準的なBERTに比べて文書レベルの情報抽出タスクでどの程度優れているか？
• RQ4 このモデルはフォーム、インvoices、科学論文など多様な文書タイプに一般化可能か？

主な発見

• LAMBERTは、FUNSDやSROIEを含む複数の文書レベルの情報抽出ベンチマークで最先端のパフォーマンスを達成する。
• レイアウト特徴の統合により、非線形構造を有する複雑なレイアウトにおいて、標準BERTに比べてF1スコアが顕著に向上する。
• 事前学習済み重みの使用により、言語理解能力が強く維持され、深刻な忘却が回避される。
• アブレーションスタディにより、レイアウト埋め込みと空間的注意がパフォーマンス向上の鍵となる重要な要素であることが確認される。