[論文レビュー] MarkupLM: Pre-training of Text and Markup Language for Visually-rich Document Understanding

Junlong Li, Yiheng Xu+2 more|arXiv (Cornell University)|Oct 16, 2021

Handwritten Text Recognition Techniques被引用数 10

ひとこと要約

本稿では、TransformerアーキテクチャとXPath埋め込みを用いて、動的レイアウトを持つドキュメント（例：HTML/XML）における視覚的に豊富なドキュメント理解を目的とした、テキストとマークアップ言語の表現を統合的に学習するマルチモーダル事前学習フレームワーク、MarkupLMを提案する。Masked Markup Language Modeling、Node Relationship Prediction、Title-Page Matchingの新しい事前学習目的を導入することで、WebSRCおよびSWDEベンチマークで強力なベースラインを上回る性能を達成した。

ABSTRACT

Multimodal pre-training with text, layout, and image has made significant progress for Visually Rich Document Understanding (VRDU), especially the fixed-layout documents such as scanned document images. While, there are still a large number of digital documents where the layout information is not fixed and needs to be interactively and dynamically rendered for visualization, making existing layout-based pre-training approaches not easy to apply. In this paper, we propose MarkupLM for document understanding tasks with markup languages as the backbone, such as HTML/XML-based documents, where text and markup information is jointly pre-trained. Experiment results show that the pre-trained MarkupLM significantly outperforms the existing strong baseline models on several document understanding tasks. The pre-trained model and code will be publicly available at https://aka.ms/markuplm.

研究の動機と目的

• レイアウトが動的にレンダリングされる固定されていないドキュメント（例：HTML/XML）におけるドキュメント表現学習の課題に対処すること。
• 2Dレイアウトや画像特徴量を明示的に依存する既存のレイアウトベースの事前学習モデル（例：LayoutLM）の限界を克服すること。これらの特徴量はマークアップドキュメントでは利用できない。
• テキスト、マークアップ構造（XPathを介して）、および順序情報を統合してドキュメントの意味を効果的にモデル化する統一された事前学習フレームワークを構築すること。
• マークアップ言語の構造とドキュメント内の意味的関係に特化した自己教師付き事前学習目的を設計すること。
• 読解やデータ抽出を含む下流のドキュメント理解タスクにおけるMarkupLMの有効性を実証すること。

提案手法

• DOMツリーにおける各トークンへのルートからの階層的パスを表すためのXPath埋め込み層を導入し、LayoutLMで用いられる2Dレイアウト埋め込みを置き換える。
• テキスト埋め込み、1次元位置埋め込み、セグメント埋め込み、XPath埋め込みを組み合わせたマルチストリーム入力埋め込みアプローチを採用して、ドキュメント構造を符号化する。
• 3つの事前学習目的を提案：テキストとマークアップトークンを同時にマスクして予測するMasked Markup Language Modeling（MMLM）；DOMツリー内の親子関係や兄弟関係を予測するNode Relationship Prediction（NRP）；ページのタイトルがそのコンテンツと一致するかを予測するTitle-Page Matching（TPM）。
• 標準的な分類または系列ラベル付けヘッドを用いて、下流タスクに事前学習済みのMarkupLMを微調整する。
• BERTやRoBERTaからのモデル初期化を活用し、大規模な未ラベル付きウェブページ（例：100万～2400万ページ）を用いて事前学習を行う。
• マルチヘッド自己注意機構とフィードフォワードネットワークを備えた標準的なTransformerエンコーダーを用いて、入力埋め込みを処理する。

実験結果

リサーチクエスチョン

• RQ1 HTML/XMLのような動的にレンダリングされるドキュメントにおいて、テキストとマークアップ言語の統合的事前学習がドキュメント表現学習を向上させ得るか？
• RQ2 2Dレイアウト埋め込みと比較して、XPathベースの埋め込みはマークアップドキュメントにおける構造的関係をどれほど効果的に捉えられるか？
• RQ3 提案された事前学習目的（MMLM、NRP、TPM）が、ドキュメント理解タスクの下流性能にどの程度寄与するか？
• RQ4 大規模かつ未ラベル付きのウェブページを用いた事前学習が、読解やデータ抽出などの下流タスクにおいて顕著な向上をもたらすか？
• RQ5 MarkupLMは、デバイス間でのレンダリングが異なるさまざまなドキュメントタイプにも一般化可能か？

主な発見

• WebSRCデータセットにおいて、MarkupLMは強力なベースラインを著しく上回り、3つの事前学習目的を統合した場合、Exact Match（EM）スコアで5.3%の絶対的向上を達成した。
• Title-Page Matching（TPM）目的が最も寄与し、ベースライン比でEMスコアを4.6%向上させた。一方、Node Relationship Prediction（NRP）はEMスコアを2.4%向上させた。
• より強力な初期化モデル（BERT-baseではなくRoBERTa-base）を用いることで、EMスコアが1.9%向上した。これは初期化の質の重要性を示している。
• RoBERTa-baseと3つの目的を用いて2400万ページのウェブページで学習した場合が最良の性能を示し、WebSRC開発セットで68.39%のEM、74.47%のF1、87.93%のPOSを達成した。
• アブレーションスタディにより、3つの事前学習目的が有効かつ補完的であることが確認され、組み合わせによる性能が最も高かった。
• 事前学習済みのMarkupLMモデルとコードは、コミュニティの利用およびさらなる研究を目的として、https://aka.ms/markuplm で公開された。