[論文レビュー] Finding the Evidence: Localization-aware Answer Prediction for Text Visual Question Answering

Wei Han, Hantao Huang+1 more|arXiv (Cornell University)|Oct 6, 2020

Multimodal Machine Learning Applications参考文献 20被引用数 9

ひとこと要約

本論文では、画像内の回答とその支援となるバウンディングボックスを同時に予測する、局所化に配慮した回答予測ネットワークであるLaAP-Netを提案する。文脈を強化したOCR表現と局所化に配慮したデコーダーを統合することで、回答の正確性が向上し、解釈可能な証拠を提供する。TextVQA（41.41%の正確度）、ST-VQA（0.485 ANLS）、OCR-VQA（64.1%の正確度）のベンチマークで最先端の性能を達成した。

ABSTRACT

Image text carries essential information to understand the scene and perform reasoning. Text-based visual question answering (text VQA) task focuses on visual questions that require reading text in images. Existing text VQA systems generate an answer by selecting from optical character recognition (OCR) texts or a fixed vocabulary. Positional information of text is underused and there is a lack of evidence for the generated answer. As such, this paper proposes a localization-aware answer prediction network (LaAP-Net) to address this challenge. Our LaAP-Net not only generates the answer to the question but also predicts a bounding box as evidence of the generated answer. Moreover, a context-enriched OCR representation (COR) for multimodal fusion is proposed to facilitate the localization task. Our proposed LaAP-Net outperforms existing approaches on three benchmark datasets for the text VQA task by a noticeable margin.

研究の動機と目的

• 既存のテキストVQAモデルにおける回答の証拠の欠如に取り組むために、予測の根拠として局所化されたバウンディングボックスを提供すること。
• OCRトークンと画像特徴からの位置情報および文脈情報を活用することで、テキストVQAにおけるマルチモーダル推論を向上させること。
• 回答のための空間的に根拠付けられた証拠を生成することで、モデルの解釈性を高め、データセットバイアスへの依存を減らすこと。
• 統一された局所化に配慮したアーキテクチャを用いて、複数のベンチマークテキストVQAデータセットで最先端の性能を達成すること。
• 文脈を強化したOCR表現を導入することで、マルチモーダル統合を簡素化し、オブジェクトレベルの文脈をテキスト特徴と統合すること。

提案手法

• デコード中に回答を生成するOCRトークンのためのバウンディングボックスを予測する、局所化に配慮した回答予測（LaAP）モジュールを提案する。
• 位置をガイドするアテンションを用いてオブジェクト特徴をOCR埋め込みに統合する、文脈を強化したOCR表現（COR）を導入する。
• 回答生成とバウンディングボックス予測のための別々のヘッドを備えた、トランスフォーマーに基づくエンコーダ・デコーダアーキテクチャを採用する。
• 回答の正確度と局所化のIoUを同時に最適化するマルチタスク学習目的関数を用い、性能と解釈性の両方を向上させる。
• デコーダーにOCR位置埋め込みを統合し、回答予測の空間的根拠を強化する。
• 固定語彙とOCRトークンの両方から答えを選択する動的ポインタネットワークを適用し、語彙外の答えの生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 回答とその支援となるバウンディングボックスを同時に予測することで、テキストVQAにおける性能と解釈性が向上するか？
• RQ2 OCR表現に文脈的な画像特徴を組み込むことで、テキストVQAにおけるマルチモーダル推論にどのような影響を与えるか？
• RQ3 局所化に配慮した予測は、モデルがデータセットバイアスや統計的ショートカットに依存する程度をどの程度軽減するか？
• RQ4 共有エンコーダとマルチタスクデコーダを備えた統一アーキテクチャは、オープン語彙テキストVQAベンチマークで既存手法を上回る性能を発揮できるか？
• RQ5 画像とテキストの特性が異なる多様なテキストVQAデータセットにおいて、モデルの一般化性能はどの程度か？

主な発見

• LaAP-NetはTextVQAのテストスプリットで41.41%の正確度を達成し、以前のSOTA手法M4Cを1.44ポイント上回った。
• ST-VQAデータセットでは0.485のANLSを達成し、以前のSOTA手法SMAより0.019向上し、コンテスト優勝者VTAより0.20の絶対的向上を示した。
• OCR-VQAデータセットでは64.1%の正確度を達成し、本番の本の表紙に焦点を当てており視覚的文脈が限られているにもかかわらず、新たな最先端を樹立した。
• 定性的な分析では、予測されたバウンディングボックスが80%の成功事例で正解領域と一致しており、70%の例でIoUスコアが0.5以上であった。
• 失敗事例では、相対的な空間言語（例：'right'、'middle'）に対する感受性が高く、明示的な空間的ヒントがないと相対的位置の推論に限界があることが明らかになった。
• 予測されたバウンディングボックスが回答の根拠としての視覚的証拠を提供するため、モデルは統計的パターンへの依存を減らし、より高い耐性と解釈可能性を示した。