[論文レビュー] A Thousand Words Are Worth More Than a Picture: Natural Language-Centric Outside-Knowledge Visual Question Answering

Feng Gao, Ping Qing+4 more|arXiv (Cornell University)|Jan 14, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、外部知識を有する視覚的質問応答（OK-VQA）のための画期的な自然言語中心のフレームワーク、TRiGを提案する。このフレームワークは、視覚的入力をテキストに変換することで、大規模言語モデルおよび知識ベースを活用する。視覚からテキストへの変換、検索、生成型QAを分離することで、OK-VQAベンチマークにおいて最先端の手法よりも11.1%の絶対的向上を達成した。

ABSTRACT

Outside-knowledge visual question answering (OK-VQA) requires the agent to comprehend the image, make use of relevant knowledge from the entire web, and digest all the information to answer the question. Most previous works address the problem by first fusing the image and question in the multi-modal space, which is inflexible for further fusion with a vast amount of external knowledge. In this paper, we call for a paradigm shift for the OK-VQA task, which transforms the image into plain text, so that we can enable knowledge passage retrieval, and generative question-answering in the natural language space. This paradigm takes advantage of the sheer volume of gigantic knowledge bases and the richness of pre-trained language models. A Transform-Retrieve-Generate framework (TRiG) framework is proposed, which can be plug-and-played with alternative image-to-text models and textual knowledge bases. Experimental results show that our TRiG framework outperforms all state-of-the-art supervised methods by at least 11.1% absolute margin.

研究の動機と目的

• 外部知識が視覚的・言語的埋め込みの次元に制限されるOK-VQAにおけるマルチモodal融合の限界を克服する。
• 広大なテキスト知識をコンactなマルチモーダル空間に圧縮する既存手法の不柔軟性を解消する。
• 自然言語空間にすべての入力を統合することで、エンドツーエンドで解釈可能かつスケーラブルなOK-VQAを実現する。
• 抽出型スパン予測ではなく、ビームサーチと生成型モデルを用いることで、回答生成のロバスト性を向上させる。
• 言語空間における透明な注意メカニズムを通じて、モデルの失敗を診断し、解釈可能性を向上させる。

提案手法

• 3段階のTRiGフレームワークを提案：変換（キャプション、濃密ラベル、OCRを用いた画像からテキストへの変換）、検索（Natural Questions上で事前学習されたDPRを用いた濃密なパラグラフ検索）、生成（ビームサーチを用いた生成型QA）。
• 画像キャプション、オブジェクト検出ラベル、OCRを統合したマルチレベルの画像からテキストへの変換を用い、視覚的情報の損失を最小限に抑える。
• Natural Questionsデータセット上で事前学習された濃密なパラグラフ検索（DPR）モデルを活用し、高いカバレッジで関連する知識パラグラフを取得する。
• クロスアテンションを備えた生成型質問応答モデルを適用し、視覚的文脈と取得されたパラグラフの両方に注目することで、自由形式の回答生成を可能にする。
• 推論時にビームサーチを適用して回答品質とロバスト性を向上させるとともに、注意可視化を用いて解釈可能性を確保する。
• 代替の画像からテキストへのモデルやテキスト知識ベースとの統合を可能にする、プラグアンドプレイなフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 従来のマルチモーダル統合とは対照的に、視覚的入力を自然言語に変換することで、外部知識を有する視覚的質問応答の性能が向上するか？
• RQ2 キャプション、濃密ラベル、OCRを組み合わせたマルチレベルの画像からテキストへの変換は、後続のQAに必要な視覚的文脈をどれほど効果的に保持できるか？
• RQ3 アノテートされた事実が存在しない状況で、濃密なパラグラフ検索（DPR）が、BM25などの従来手法を上回ってOK-VQAの関連知識を効果的に検索できるか？
• RQ4 アノテートされていない回答スパンを想定するOK-VQAにおいて、ビームサーチとクロスアテンションを備えた生成型QAモデルが、抽出型手法を上回る性能を発揮できるか？
• RQ5 言語空間における注目ベースの解釈可能性は、OK-VQAモデルの誤りをどの程度診断可能にするか？

主な発見

• ビームサーチを用いたTRiGフレームワークは、OK-VQAテストセットで67.4のVQAスコアと71.8%の正確一致（EM）を達成し、従来の教師あり手法を著しく上回った。
• 強力な既存の教師ありベースラインよりも11.1%の絶対的向上を示しており、言語中心のパラダイムの有効性を裏付けた。
• 取得パラグラフ数（k）が増えるにつれて性能が安定して向上し、k=25で飽和に達したが、カバレッジ（Hit@k）は継続的に向上しており、長尾検索効果が顕在化した。
• 誤り分析の結果、失敗の50%が画像からテキストへの変換における情報損失に起因し、24%が検索の質の低さ、22%が生成型QAの誤りに起因していることが判明した。
• 数値回答および長文回答は予測が著しく困難であり、回答長が増えるほど性能が低下した。
• モデルの注意メカニズムは、関連する視覚的およびテキスト的証拠を強調することで、解釈可能な説明を提供し、誤りの根本原因の診断を可能にした。