[論文レビュー] Plug-and-Play VQA: Zero-shot VQA by Conjoining Large Pretrained Models with Zero Training

Anthony Meng Huat Tiong, Junnan Li+3 more|arXiv (Cornell University)|Oct 17, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

PnP-VQA は、微調整やアーキテクチャの変更なしに、事前学習済みの視覚言語モデル、質問誘導型要約モジュール、および事前学習済み言語モデルを組み合わせた、ゼロショット視覚質問応答のためのプラグアンドプレイフレームワークです。ネットワークの解釈性を活用して、回答に関連する情報を含む要約を生成し、それをデコーダーに統合することで、最先端の性能を達成しています。VQAv2 では Flamingo (80B) より 8.5% 高く、GQA では FewVLM より 9.1% 高い性能を示しており、基盤モデルのモジュラーかつトレーニングなしの統合の有効性を示しています。

ABSTRACT

Visual question answering (VQA) is a hallmark of vision and language reasoning and a challenging task under the zero-shot setting. We propose Plug-and-Play VQA (PNP-VQA), a modular framework for zero-shot VQA. In contrast to most existing works, which require substantial adaptation of pretrained language models (PLMs) for the vision modality, PNP-VQA requires no additional training of the PLMs. Instead, we propose to use natural language and network interpretation as an intermediate representation that glues pretrained models together. We first generate question-guided informative image captions, and pass the captions to a PLM as context for question answering. Surpassing end-to-end trained baselines, PNP-VQA achieves state-of-the-art results on zero-shot VQAv2 and GQA. With 11B parameters, it outperforms the 80B-parameter Flamingo model by 8.5% on VQAv2. With 738M PLM parameters, PNP-VQA achieves an improvement of 9.1% on GQA over FewVLM with 740M PLM parameters. Code is released at https://github.com/salesforce/LAVIS/tree/main/projects/pnp-vqa

研究の動機と目的

• 事前学習済み言語モデルの微調整やアーキテクチャの変更なしに、ゼロショット視覚質問応答を可能にすること。
• オフザシェルで利用可能な、変更の加えられない事前学習済みコンponentsのみを用いて、視覚と言語のモダリティをゼロショット設定で橋渡しする課題に対処すること。
• 視覚および言語の基盤モデルにおける進展を再トレーニングなしに動的に統合できる、モジュラーかつ柔軟なフレームワークを開発すること。
• 中間表現としての情報量が多く質問に関連する画像要約を活用することで、VQAベンチマークにおける性能を向上させること。

提案手法

• 入力された質問に関連する画像要約を生成するために、事前学習済みの視覚言語モデル（BLIP）を活用する。
• 質問に関連する画像パッチを特定するために、Grad-CAMに基づくネットワーク解釈性を適用する。
• 質問に関連する画像パッチから、多様で確率的な要約を、視覚エンコーダーとデコーダーを用いて生成する。
• 事前学習済み言語モデル（UnifiedQAv2）を用いて、生成された要約に基づいて質問に答えを導出する。
• 最大100個の質問誘導型要約を統合するデコーダー内統合機構を採用し、より良い回答生成を実現する。
• 追加のトレーニングやアーキテクチャの変更なしに、すべてのモデルを推論のみで利用する。

実験結果

リサーチクエスチョン

• RQ1 微調整やアーキテクチャの変更なしに、オフザシェルで利用可能な変更の加えられない事前学習済みモデルのみを用いて、ゼロショットVQAシステムを構築できるか？
• RQ2 自然言語とネットワーク解釈性を介して視覚と言語モデルを接続するインターフェースとしての有効性はどの程度か？
• RQ3 一般的な要約と比較して、質問誘導型の情報量の多い画像要約は、ゼロショットVQA性能をどの程度向上させられるか？
• RQ4 生成された要約の数が、プラグアンドプレイ設定における回答の正確性とモデルの頑健性に与える影響は？
• RQ5 モジュラーかつトレーニングなしのフレームワークは、Flamingo や FewVLM のようなエンドツーエンドで訓練されたモデルを、ゼロショットVQAベンチマークで上回ることができるか？

主な発見

• 11Bパラメータの PnP-VQA は、VQAv2 で 63.3% の精度を達成し、80Bパラメータの Flamingo モデルを 8.5% 上回った。
• GQA ベンチマークでは、PnP-VQA（738Mパラメータ）が 41.9% の精度を達成し、FewVLM（740Mパラメータ）を 9.1% 上回った。
• 質問誘導型要約の使用により、要約数が20から100に増加するに従い、回答の誤認率（AHR）が 71.8% から 84.0% に上昇し、回答の関連性が高まっていることが示された。
• 確率的デコーディング手法（例：nucleus sampling）は、繰り返しが多く多様性に欠ける要約を生成する決定論的ビームサーチを上回った。
• 質問応答モデルの選択が性能に大きく影響し、汎用モデル（T0 や GPT-J）と比較して、タスク固有のモデル（UnifiedQAv2）が優れた結果を示した。
• 本フレームワークは、エンドツーエンドのトレーニングなしに、事前学習済みモデルのモジュラー構成によって、ゼロショットVQAで高い性能を達成可能であることを示した。