[論文レビュー] VisualMRC: Machine Reading Comprehension on Document Images

Ryota Tanaka, Kyosuke Nishida+1 more|arXiv (Cornell University)|Jan 27, 2021

Multimodal Machine Learning Applications参考文献 47被引用数 4

ひとこと要約

この論文では、レイアウト、テキスト、視覚的コンテンツを理解して要約的答えを生成できるように、ドキュメント画像における視覚的機械読解のための新しいデータセットとモデル、VisualMRCを紹介する。提案されたLayoutT5モデルは、視覚的レイアウトと顕著性特徴を用いてT5を微調整したもので、ベースのシーケンス・トゥ・シーケンスモデルや最先端のVQAモデルよりも優れた性能を示したが、人間の性能に比べると依然として劣る。

ABSTRACT

Recent studies on machine reading comprehension have focused on text-level understanding but have not yet reached the level of human understanding of the visual layout and content of real-world documents. In this study, we introduce a new visual machine reading comprehension dataset, named VisualMRC, wherein given a question and a document image, a machine reads and comprehends texts in the image to answer the question in natural language. Compared with existing visual question answering (VQA) datasets that contain texts in images, VisualMRC focuses more on developing natural language understanding and generation abilities. It contains 30,000+ pairs of a question and an abstractive answer for 10,000+ document images sourced from multiple domains of webpages. We also introduce a new model that extends existing sequence-to-sequence models, pre-trained with large-scale text corpora, to take into account the visual layout and content of documents. Experiments with VisualMRC show that this model outperformed the base sequence-to-sequence models and a state-of-the-art VQA model. However, its performance is still below that of humans on most automatic evaluation metrics. The dataset will facilitate research aimed at connecting vision and language understanding.

研究の動機と目的

• 複雑なレイアウトと視覚的コンテンツを含む実世界のドキュメント画像における機械読解のギャップを埋める。
• 単なる視覚的グランドイングではなく、ドキュメント画像における自然言語理解と生成に重点を置いたデータセットの開発。
• ドキュメント画像内の複数のテキストおよび視覚的要素を統合して、要約的答えを生成できるような推論を可能にする。
• 悲観的忘却を回避しつつ、事前学習済みのシーケンス・トゥ・シーケンスモデルの言語生成能力を視覚的読解に転移する。
• 視覚と言語のモデルを、実世界のデジタルドキュメントの人的水準の理解にまで進化させる。

提案手法

• 著者らは、多様なWebドメインから抽出した10,000枚以上のドキュメント画像と、1つのドキュメント画像あたり30,000組以上の質問・回答ペアを含む、VisualMRCというデータセットを構築した。
• データセットには、リスト、表、チャートなどのセマンティッククラスにラベルが付与された領域（ROIs）が含まれており、レイアウトに配慮した理解を可能にしている。
• 視覚的レイアウト埋め込みと補助的な顕著性検出ヘッドを追加することで、T5エンコーダ・デコーダアーキテクチャを拡張した、新しいモデルであるLayoutT5を提案する。
• モデルは大規模なテキストコーパスで事前学習され、質問・回答ペアと視覚的レイアウト特徴を用いてVisualMRCで微調整された。
• ドキュメント画像からの視覚特徴は、Faster R-CNN検出器を用いてROIsを局所化・分類し、その後、位置埋め込みとレイアウト埋め込みで符号化される。
• 言語生成能力を維持しながら視覚的情報を統合するために、回答生成と顕著性予測の両方を組み合わせたマルチタスク学習目的関数が用いられている。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのシーケンス・トゥ・シーケンスモデルは、自然言語生成能力を保持したまま、ドキュメント画像における視覚的機械読解に効果的に適応可能か？
• RQ2 視覚的レイアウトとコンテンツ情報を組み込むことで、純粋にテキストに依存するモデルと比較して、ドキュメントレベルの質問応答における性能がどのように向上するか？
• RQ3 テキストからテキストへのタスクで学習した視覚・言語モデルは、複雑なレイアウトと混合視覚的要素を含むドキュメント画像に対して、どの程度一般化可能か？
• RQ4 提案されたLayoutT5モデルは、ドキュメント画像の理解と回答生成において、最先端のVQAモデルと比較してどの程度優れているか？
• RQ5 特に図表や視覚的オブジェクトに関して、視覚的ドキュメント理解における主な失敗モードは何か？

主な発見

• LayoutT5は、テキスト入力での微調整のみを施したベースのT5およびBARTモデルよりも優れた性能を示し、視覚的レイアウト統合の利点を実証した。
• LayoutT5は、M4C（最先端のVQA用視覚・言語モデル）よりもVisualMRCデータセットで優れた性能を示し、要約的ドキュメントQAにおいて優位性を示した。
• 図表や視覚的属性（例：オブジェクトの色）を含む質問に対するモデルの性能は依然として限定的であり、視覚的オブジェクト理解における主な失敗モードが明らかになった。
• 自動評価指標における人間の性能との大きな開きから、VisualMRCの要約的回答生成タスクは、既存のVQAデータセットよりもより複雑な推論を要することが示された。
• 補助的な顕著性検出タスクのおかげで、視覚的微調整中に悲観的忘却が抑制され、事前学習済みモデルの言語生成品質が維持された。
• ドキュメントタイプの多様性と、長大で要約的な回答を含むことから、本データセットは、実世界のドキュメントにおける高度なNLUおよびNLG能力の評価に適している。