[論文レビュー] DocVQA: A Dataset for VQA on Document Images

Minesh Mathew, Dìmosthenis Karatzas+1 more|arXiv (Cornell University)|Jul 1, 2020

Multimodal Machine Learning Applications参考文献 37被引用数 8

ひとこと要約

本稿では、12,767枚のドキュメント画像を対象にした50,000件の質問・回答ペアを含む大規模なデータセット、DocVQAを紹介する。このデータセットは、テキスト内容とドキュメントのレイアウトの両方を理解する必要があるため、ドキュメント画像上の視覚的質問応答（VQA）の発展を目的としている。最高性能を示したモデルは、SQuADおよびDocVQAの両方で微調整されたBERT-Largeであり、正確一致（exact match）の正答率が55.77%にとどまり、人間の性能（94.36%）に大きく及ばない。これは、ドキュメント理解における視覚的および構造的手がかりの統合を改善する必要があることを示している。

ABSTRACT

We present a new dataset for Visual Question Answering (VQA) on document images called DocVQA. The dataset consists of 50,000 questions defined on 12,000+ document images. Detailed analysis of the dataset in comparison with similar datasets for VQA and reading comprehension is presented. We report several baseline results by adopting existing VQA and reading comprehension models. Although the existing models perform reasonably well on certain types of questions, there is large performance gap compared to human performance (94.36% accuracy). The models need to improve specifically on questions where understanding structure of the document is crucial. The dataset, code and leaderboard are available at docvqa.org

研究の動機と目的

• 単なるテキスト抽出をはるかに超える推論を要するVQAタスクを導入することで、ドキュメント画像全体の理解における格差を埋めること。
• モデルが独立した抽出タスクではなく、ユーザーの質問に駆動される「目的志向型」のドキュメント分析を促進すること。
• 複雑でオープンエンドな質問を伴い、多様なモダリティの理解を要する、現実世界のドキュメント画像の包括的で大規模なデータセットを提供すること。
• 既存のVQAおよび読解理解モデルをドキュメント画像上でベンチマーク化し、特にレイアウトおよび構造的推論における主な失敗要因を同定すること。

提案手法

• 5つの業界および複数の時代にわたる12,767枚の実際のドキュメント画像から構成され、推論タイプ別に分類された50,000件の自然言語質問がアノテーションされている。
• 質問は、レイアウト、構造、表、フォーム、およびチェックボックスや図表などの非テキスト的視覚的手がかりの理解を要するように設計されている。
• ベースラインモデルには、ヒューリスティック手法（例：OCRの部分一致）、VQAモデル（LoRRA、M4C）、およびDocVQAとSQuADの両方で微調整されたBERTベースの質問応答モデルが含まれる。
• M4Cモデルは、視覚的特徴とOCRで抽出されたテキストの両方を活用するように変更され、動的語彙とオブジェクト特徴のアブレーションスタディが実施された。
• BERTベースのモデルは、質問・回答ペアを用いてDocVQAで微調整され、事前学習データ（SQuAD対比なし）のアブレーションが実施された。
• 性能評価には正確一致（Acc.）と平均正規化L2距離（ANLS）が用いられ、人間の性能が上限として用いられた。

実験結果

リサーチクエスチョン

• RQ1 既存のVQAおよび読解理解モデルは、複雑なレイアウトとマルチモーダルな手がかりを伴う実際のドキュメント画像にどの程度一般化できるか？
• RQ2 現在のモデルにとって最も困難な質問の種類は何か？ 人間の性能と比較して、どこで失敗しているか？
• RQ3 SQuADで事前学習することで、ドキュメントVQAにおける性能はどの程度向上するか？ また、DocVQAでのみ微調整した場合の結果はどのようになるか？
• RQ4 文書レベルの推論を要する質問に答えるために、レイアウトおよび構造的情報の統合はどの程度重要か？
• RQ5 一般向けVQAまたはテキストQAデータセットで学習したモデルは、DocVQAで必要なオープンエンドで文書固有の推論を効果的に処理できるか？

主な発見

• 最高性能を示したモデルは、SQuADおよびDocVQAの両方で微調整されたBERT-Largeであり、テストセットで55.77%の正確一致正答率を達成したが、人間の性能（94.36%）に大きく及ばない。
• SQuADで学習し、その後DocVQAで微調整したモデルは、DocVQAでのみ学習したモデルよりも優れた性能を示した。これは、大規模な読解理解データセットでの事前学習の利点を示している。
• VQAベースラインの中で最も優れた性能を示したのはM4Cモデルであり、テストセットでANLSが0.665であったが、依然としてBERTベースのモデルに劣っていた。
• OCR部分一致ベースラインは85%以上の正答率を示したが、誤検出（例：「2020」に含まれる「2」が答え「2」として誤ってマッチする）による偽陽性が多く発生した。
• 質問の種別によって性能に顕著な差が見られた：モデルはレイアウトに基づく質問（例：表の構造や図の位置特定）に対して最も苦戦したが、直接的なテキスト抽出では良好な性能を示した。
• 人間の性能は質問の種別にかかわらず一貫していたが、モデルの性能は大きくばらつきを示しており、特に構造的理解を要する推論タイプにおいて一般化に失敗していることが示された。