[論文レビュー] LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document Understanding

Yang Xu, Yiheng Xu+10 more|arXiv (Cornell University)|Dec 29, 2020

Multimodal Machine Learning Applications参考文献 42被引用数 58

ひとこと要約

LayoutLMv2は、テキスト、レイアウト、画像を同時にモデリングするマルチモーダル Transformer を導入し、視覚的にリッチな文書理解（VrDU）タスクの最先端結果を達成する新しい事前学習タスクと空間認識型アテンションを使用します。

ABSTRACT

Pre-training of text and layout has proved effective in a variety of visually-rich document understanding tasks due to its effective model architecture and the advantage of large-scale unlabeled scanned/digital-born documents. We propose LayoutLMv2 architecture with new pre-training tasks to model the interaction among text, layout, and image in a single multi-modal framework. Specifically, with a two-stream multi-modal Transformer encoder, LayoutLMv2 uses not only the existing masked visual-language modeling task but also the new text-image alignment and text-image matching tasks, which make it better capture the cross-modality interaction in the pre-training stage. Meanwhile, it also integrates a spatial-aware self-attention mechanism into the Transformer architecture so that the model can fully understand the relative positional relationship among different text blocks. Experiment results show that LayoutLMv2 outperforms LayoutLM by a large margin and achieves new state-of-the-art results on a wide variety of downstream visually-rich document understanding tasks, including FUNSD (0.7895 $ o$ 0.8420), CORD (0.9493 $ o$ 0.9601), SROIE (0.9524 $ o$ 0.9781), Kleister-NDA (0.8340 $ o$ 0.8520), RVL-CDIP (0.9443 $ o$ 0.9564), and DocVQA (0.7295 $ o$ 0.8672). We made our model and code publicly available at \url{https://aka.ms/layoutlmv2}.

研究の動機と目的

• VrDUを単一の事前学習フレームワークでテキスト・レイアウト・画像のクロスモーダル情報を活用して改善する動機付け。
• 空間認識自己アテンションを備えたマルチモーダル Transformer を提案し、クロスモーダル相互作用と相対空間関係を学習する。
• MVLM に加えて新たな事前学習タスク（テキスト-画像整列とテキスト-画像マッチング）を導入する。
• FUNSD、CORD、SROIE、Kleister-NDA、RVL-CDIP、DocVQA の6つの下流VrDUタスクで評価し、最先端の性能と下流タスクへの転移性を示す。

提案手法

• テキスト埋め込み、CNN バックボーン（ResNeXt-FPN）からの視覚埋め込み、OCR バウンディングボックスからのレイアウト埋め込みを統合する2ストリームのマルチモーダル Transformer エンコーダを構築する。
• 1Dおよび2Dの相対位置バイアスを用いた空間認識自己アテンションを組み込み、テキストブロック間の相対的な空間関係をモデル化する。
• 事前学習タスクは、MVLM（マスクド・ビジュアル・ランゲージ・モデリング）、行レベルのTIA（Text-Image Alignment）、TIM（Text-Image Matching）を含む。
• IIT-CDIP を事前学習データとして使用し、FUNSD、CORD、SROIE、Kleister-NDA、RVL-CDIP、DocVQA を含む6つの下流 VrDU タスクでファインチューニングする。
• LayoutLMv2 の variants（BASE、LARGE）を下流タスクにファインチューニングし、BERT、UniLMv2、LayoutLM（BASE/LARGE）と比較する。

実験結果

リサーチクエスチョン

• RQ1 クロスモーダル（テキスト、レイアウト、画像）情報を単一の事前学習フレームワークでVrDUにおいてどのように効果的にモデル化できるか。
• RQ2 新たな事前学習目的（TIA、TIM）と空間認識アテンションは、MVLMを超えてクロスモーダル理解を改善するか。
• RQ3 LayoutLMv2 は従来モデルと比較して多様なVrDUタスクでどの程度性能を向上させるか。
• RQ4 LayoutLMv2 は情報抽出と文書QAのタスクの両方にどの程度転移するか。

主な発見

• LayoutLMv2 LARGE は従来モデルと比較して複数の VrDU タスクで最先端の結果を達成。
• FUNSD、CORD、SROIE、Kleister-NDA で LayoutLMv2 LARGE はそれぞれ 0.8420、0.9601、0.9781、0.8520（エンティティ抽出 F1）を達成。
• LayoutLMv2 BASE/LARGE は LayoutLM BASE/LARGE およびテキストのみのベースラインを上回り、マルチモーダル事前学習の恩恵を示す。
• TIA および TIM タスクと空間認識自己アテンションは、MVLM のみよりも性能を有意に向上させる。
• LayoutLMv2 は文書画像分類（RVL-CDIP）および DocVQA ANLS スコアも改善し、VrDU タスクへの広範な利益を示す。
• モデルとコードは複製・拡張のため公開されている。