[論文レビュー] Document Visual Question Answering Challenge 2020

Minesh Mathew, Rubèn Tito+3 more|arXiv (Cornell University)|Aug 20, 2020

Multimodal Machine Learning Applications参考文献 6被引用数 10

ひとこと要約

本論文は、2020年ドキュメント視覚的質疑応答（DocVQA）チャレンジを提示し、2つのタスクを導入する：単一のドキュメント画像におけるVQA（タスク1）と、複数のドキュメント画像のコレクションにおけるVQA（タスク2）。タスク1では12,767枚のドキュメント画像に跨る50,000組の質問・回答ペアを含む新規ベンチマークを提案し、タスク2では14,362組のテンプレート一致型米国候補者登録フォームを提供。上位提出物では、ANLSスコア0.85およびMAP 0.8090という最先端の結果を達成した。

ABSTRACT

This paper presents results of Document Visual Question Answering Challenge organized as part of "Text and Documents in the Deep Learning Era" workshop, in CVPR 2020. The challenge introduces a new problem - Visual Question Answering on document images. The challenge comprised two tasks. The first task concerns with asking questions on a single document image. On the other hand, the second task is set as a retrieval task where the question is posed over a collection of images. For the task 1 a new dataset is introduced comprising 50,000 questions-answer(s) pairs defined over 12,767 document images. For task 2 another dataset has been created comprising 20 questions over 14,362 document images which share the same document template.

研究の動機と目的

• ドキュメント固有のVQA研究におけるギャップを埋めるために、ドキュメント画像における視覚的質疑応答のための大規模ベンチマークを確立すること。
• 単一ドキュメント画像における抽出型QAと、ドキュメントコレクションにおけるリtrievalベースのVQAの両方の方法を評価すること。
• 統合されたVQAフレームワーク内でシーンテキスト認識と視覚的推論を統合することで、ドキュメント理解分野の研究を促進すること。
• 一貫した手法間比較を可能にするために、ANLSおよびMAPメトリクスを用いた標準化された評価プロトコルを提供すること。

提案手法

• タスク1では、質問・回答ペア形式を用いて、単一のドキュメント画像に存在するテキストから直接答えを抽出するモデルを訓練する。
• 正答率を評価する主な指標として、平均正規化Levenshtein類似度（ANLS）を採用する。
• タスク2では、質問の関連性に基づいて大規模なコレクションから関連するドキュメント画像を検索し、平均平均精度（MAP）で性能を測定する。
• 同様のスコアを持つ正例ドキュメントがデフォルト順序によるバイアスを避けるために、常に末尾に配置されるようにシステムが順序を保証する。
• モデルの汎化性能を評価するため、9種類の質問タイプ（例：フォーム、表/リスト、レイアウト、手書き）を含む。
• すべてのドキュメントに対して商用OCR出力が提供され、モデルの訓練および評価を支援する。

実験結果

リサーチクエスチョン

• RQ1 表示されているテキストから厳密に導出される答えを持つ場合、モデルは単一ドキュメント画像における抽出型VQAをどれほど効果的に実行できるか？
• RQ2 質問に応じて、大規模なコレクションから関連するドキュメントを検索する際、VQAモデルの性能はどの程度か？
• RQ3 フォーム、表、手書きなどの異なる質問タイプは、ドキュメントVQAにおけるモデル性能にどのように影響するか？
• RQ4 OCR出力は、ドキュメント画像におけるVQA性能をどの程度向上させるか？
• RQ5 同じフォームが異なる方法（例：タイプライター入力 vs. 手書き）で記入された場合、モデルはドキュメントテンプレート間で一般化できるか？

主な発見

• タスク1で最良のスコアを記録した手法は、ANLSスコア0.85を達成し、ベースラインモデルを著しく上回った。
• タスク2で優勝した手法（PingAn社のDQA）は、MAPスコア0.8090を達成し、優れたリトリーブ性能を示した。
• 提出された手法のすべてがタスク2の質問に対して答えを提供していなかったため、優れたリトリーブ性能とは対照的に、答え生成の分野にギャップが存在することが示された。
• 最高性能のモデルは質問タイプにわたる汎化性能が強く、特に「フォーム」「表/リスト」「レイアウト」の質問で高いANLSスコアを達成した。
• トップモデルとベースラインモデルとの性能差は顕著で、最良のモデルは最弱のモデルよりもANLSで0.5以上も優れていた。
• 商用OCR出力の使用は性能差を完全に埋めきれず、視覚的推論とレイアウト理解の重要性が依然として顕著であることが示唆された。