[論文レビュー] ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding

Qiming Peng, Yinxu Pan+13 more|arXiv (Cornell University)|Oct 12, 2022

Handwritten Text Recognition Techniques被引用数 6

ひとこと要約

ERNIE-Layout は、読む順序のシリアル化、空間に配慮した分離型自己注意機構、および新しい事前学習タスク（読む順序予測と置換領域予測）を統合することで、視覚的に豊富なドキュメント理解のためのレイアウト知識強化型事前学習フレームワークを提案する。位置符号化を超えてレイアウトを第一義的なモodalとして体系的に活用することで、キーデータ抽出、ドキュメント質問応答、ドキュメント分類のベンチマークで最先端の性能を達成する。

ABSTRACT

Recent years have witnessed the rise and success of pre-training techniques in visually-rich document understanding. However, most existing methods lack the systematic mining and utilization of layout-centered knowledge, leading to sub-optimal performances. In this paper, we propose ERNIE-Layout, a novel document pre-training solution with layout knowledge enhancement in the whole workflow, to learn better representations that combine the features from text, layout, and image. Specifically, we first rearrange input sequences in the serialization stage, and then present a correlative pre-training task, reading order prediction, to learn the proper reading order of documents. To improve the layout awareness of the model, we integrate a spatial-aware disentangled attention into the multi-modal transformer and a replaced regions prediction task into the pre-training phase. Experimental results show that ERNIE-Layout achieves superior performance on various downstream tasks, setting new state-of-the-art on key information extraction, document image classification, and document question answering datasets. The code and models are publicly available at http://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-layout.

研究の動機と目的

• レイアウト知識の不十分な活用が原因で生じる視覚的に豊富なドキュメント理解の性能が最適でないという問題に対処すること。
• ドキュメント解析に基づくレイアウトに配慮したシリアル化にラスタースキャン順序を置き換えることで、モデルの汎化性能を向上させること。
• 新しい空間に配慮した分離型自己注意メカニズムを用いて、テキスト、ビジョン、レイアウト間のクロスモーダル相互作用を強化すること。
• レイアウトの意味を明示的にモデル化する新しい事前学習タスク（読む順序予測と置換領域予測）を導入すること。
• 多様な下流ドキュメント理解タスクにおいて、最先端の性能を達成すること。

提案手法

• 人間の読む順序に類似したシリアル化に従って入力トークンを並べ替えるレイアウトベースのドキュメントパーサーを導入し、標準のラスタースキャン順序に置き換える。
• コンテンツと相対的位置表現を分離することで、レイアウトに配慮した注意計算を改善する空間に配慮した分離型自己注意機構を採用する。
• シリアル化されたシーケンスにおける次のトークンを予測する読む順序予測（ROP）タスクを提案し、順序的および構造的なドキュメント知識の学習を促進する。
• テキスト、レイアウト、視覚特徴間の細粒度のクロスモーダル整合性を学ぶために、置換領域予測（RRP）タスクを導入する。
• 統一されたマルチモーダル事前学習目的内に、標準のマスク視覚言語モデリングおよびテキスト-画像整合性タスクを組み合わせる。
• レイアウト埋め込みと位置埋め込みを入力特徴として使用し、レイアウトに配慮した注意機構により、より豊かな空間的文脈モデリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 ラスタースキャン順序をレイアウトに配慮したシリアル化に置き換えることで、下流のドキュメント理解性能が向上するか？
• RQ2 空間に配慮した分離型自己注意機構を通じてレイアウトを第一義的なモダリティとして統合することで、モデル性能が向上するか？
• RQ3 読む順序予測や置換領域予測のような新しい事前学習タスクが、レイアウトに配慮した表現学習にどの程度寄与するか？
• RQ4 シリアル化、注意機構、事前学習タスクの各段階でレイアウト知識を統合することで、多様なドキュメント理解タスクにおける性能にどのような影響を与えるか？
• RQ5 レイアウト強化型事前学習は、キーデータ抽出、ドキュメント質問応答、ドキュメント分類のベンチマークで、最先端の結果を達成できるか？

主な発見

• ERNIE-Layout は FUNSD データセットで F1 スコア 0.9171 を達成し、従来の手法を上回る最先端の性能を示した。
• CORD データセットでは F1 スコア 0.9678 を達成し、複雑なドキュメントレイアウトに対しても強力な汎化性能を示した。
• DocVQA におけるドキュメント質問応答では、アンサンブル推論を用いてリーダーボードで最高の ANLS スコアを記録し、先行モデルを大きく上回った。
• RVL-CDIP ドキュメント画像分類ベンチマークでは、新しい最先端の正確度を樹立し、マクロレベルのドキュメント理解能力が強いことを示した。
• アブレーションスタディの結果、読む順序予測（ROP）が FUNSD で F1 スコアに 1.3% の向上をもたらし、空間に配慮した分離型自己注意機構がさらなる性能向上をもたらした。
• ドキュメントパーサーによるレイアウトに配慮したシリアル化の使用は、分離型注意機構がなくても性能向上をもたらし、独立した有効性を証明した。