[論文レビュー] SelfDoc: Self-Supervised Document Representation Learning

Peizhao Li, Jiuxiang Gu+6 more|arXiv (Cornell University)|Jun 7, 2021

Multimodal Machine Learning Applications参考文献 21被引用数 7

ひとこと要約

SelfDoc は、文書画像理解のためのタスクに依存しない自己教師あり事前学習フレームワークを提案する。このフレームワークは、個々の語ではなく、意味的に意味のあるコンポonent（例：テキストブロック、見出し、図）をモデル化する。事前学習中にマルチモーダル相互注意を活用し、融合にモダリティ適応型アテンション機構を用いることで、従来の手法よりもはるかに少ない事前学習画像で、文書エンティティ認識、分類、クラスタリングにおいて最先端の性能を達成する。

ABSTRACT

We propose SelfDoc, a task-agnostic pre-training framework for document image understanding. Because documents are multimodal and are intended for sequential reading, our framework exploits the positional, textual, and visual information of every semantically meaningful component in a document, and it models the contextualization between each block of content. Unlike existing document pre-training models, our model is coarse-grained instead of treating individual words as input, therefore avoiding an overly fine-grained with excessive contextualization. Beyond that, we introduce cross-modal learning in the model pre-training phase to fully leverage multimodal information from unlabeled documents. For downstream usage, we propose a novel modality-adaptive attention mechanism for multimodal feature fusion by adaptively emphasizing language and vision signals. Our framework benefits from self-supervised pre-training on documents without requiring annotations by a feature masking training strategy. It achieves superior performance on multiple downstream tasks with significantly fewer document images used in the pre-training stage compared to previous works.

研究の動機と目的

• ラベル付きデータへの依存を減らす、タスクに依存しない文書画像理解のための事前学習フレームワークの開発。
• 語のレベルではなくコンポーネントレベルでの文脈的関係をモデル化することで、文書表現の向上。
• 微調整段階でのみではなく、事前学習段階でマルチモーダル相互注意を統合することで、マルチモーダル学習の強化。
• 入力コンテンツに応じて言語または視覚的特徴を動的に強調するモダリティ適応型アテンション機構を用いて、下流タスクにおける効果的なモダリティ統合の実現。
• 大量のラベル付きデータを必要とせず、顕著に少ない事前学習文書で優れた性能を達成すること。これは、データ不足とプライバシー懸念の両方を緩和する。

提案手法

• モデルは個々の語ではなく、意味的に意味のあるコンポーネント（例：テキストブロック、図）を入力とすることで、粗い粒度の文脈化を可能にする。
• 言語と視覚的表現を学ぶために、別々のテキストエンコーダーと視覚エンコーダーを採用し、レイアウト構造を2次元位置エンコーディングで表現する。
• 事前学習中に言語と視覚の特徴間の相互作用を可能にするために、マルチモーダルエンコーダーを導入する。
• 下流タスクの特徴統合に適応するため、入力コンテンツに応じて言語的または視覚的特徴を動的に強調するモダリティ適応型アテンション機構を採用する。
• アノテーションの必要がないため、無作為な文書に対して特徴マスキング戦略を用いた自己教師あり事前学習を実施する。
• エンティティ認識、分類、クラスタリングなどの下流タスクで、フレームワークを微調整する。

実験結果

リサーチクエスチョン

• RQ1 語のレベルではなく、文書のコンポーネントレベルで内容をモデル化することで、文書理解のための表現学習が向上するか？
• RQ2 微調整段階ではなく、事前学習段階でマルチモーダル学習を統合した場合、下流性能にどのような影響を与えるか？
• RQ3 モダリティ適応型アテンション機構は、文書解析タスクにおけるマルチモーダル統合を向上させることができるか？
• RQ4 自己教師ありフレームワークは、文書表現学習における大規模ラベル付きデータの必要性をどの程度低減できるか？
• RQ5 少ない事前学習文書を用いても、既存の手法と比較して最先端の性能を達成できるか？

主な発見

• SelfDoc は、レイアウトLMや他のベースラインと比較して、はるかに少ない事前学習画像で、文書エンティティ認識、分類、クラスタリングのタスクで優れた性能を示す。
• RVL-CDIP データセットでは、学習データの1/8しか使用しない状況で微調整した場合、SelfDoc は91.50％の分類精度を達成し、完全データ設定よりもレイアウトLMをはるかに上回る。
• アブレーションスタディの結果、テキストまたは視覚的入力を削除すると性能が著しく低下し、マルチモーダル学習の必要性が確認された。
• クロスアテンション機構は性能向上に大きく寄与しており、両方のクロスアテンションヘッドが最適な結果を得るために不可欠である。
• VGG-16 からのグローバル視覚特徴を統合することで、分類精度が約1％向上し、特に低品質またはぼやけた文書のケースで顕著な改善が見られた。
• 文書クラスタリングの結果、SelfDoc の事前学習済み埋め込みは、微調整を行わなくても BERT やレイアウトLM よりもより判別力に富んでいることが示された。これは、より豊富なコンポーネントレベルの表現によるものである。