[論文レビュー] Answer-Me: Multi-Task Open-Vocabulary Visual Question Answering

AJ Piergiovanni, Wei Li+4 more|arXiv (Cornell University)|May 2, 2022

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

Answer-Me は、ノイズの多い画像キャプションデータのみを用いてエンドツーエンドに事前学習する、マルチタスクでタスクに適応するフレームワークを提案する。VQA、視覚的含意、推論タスクの多様な質問の意図を同時に最適化することで、先行するマルチタスクおよびファインチューニングモデルを上回る、最先端のゼロショット一般化性能と、崩壊的忘却に対する耐性を達成し、オープンボキャブラリー設定において優れた性能を発揮する。

ABSTRACT

We present Answer-Me, a task-aware multi-task framework which unifies a variety of question answering tasks, such as, visual question answering, visual entailment, visual reasoning. In contrast to previous works using contrastive or generative captioning training, we propose a novel and simple recipe to pre-train a vision-language joint model, which is multi-task as well. The pre-training uses only noisy image captioning data, and is formulated to use the entire architecture end-to-end with both a strong language encoder and decoder. Our results show state-of-the-art performance, zero-shot generalization, robustness to forgetting, and competitive single-task results across a variety of question answering tasks. Our multi-task mixture training learns from tasks of various question intents and thus generalizes better, including on zero-shot vision-language tasks. We conduct experiments in the challenging multi-task and open-vocabulary settings and across a variety of datasets and tasks, such as VQA2.0, SNLI-VE, NLVR2, GQA. We observe that the proposed approach is able to generalize to unseen tasks and that more diverse mixtures lead to higher accuracy in both known and novel tasks.

研究の動機と目的

• タスク固有のファインチューニングなしに、多様な視覚的質問応答タスクに一般化できる統合的でマルチタスクのフレームワークの開発。
• タスクに依存しない事前学習の限界、すなわち質問の意図を捉えられず、ゼロショット性能が低いという問題の解決。
• 複数のタスクにわたる継続的学習における、崩壊的忘却への耐性の向上。
• 画像キャプションデータのみを用いて、強力なエンコーダデコーダの整合性を持つエンドツーエンドのビジョン・ランゲージモデルの訓練。
• より現実的なオープンボキャブラリー設定での性能評価、すなわち正確なテキスト生成が求められる状況、特に複数選択式分類とは対照的である。

提案手法

• 共通のビジョンエンコーダ、言語エンコーダ、テキストデコーダを備えた統合アーキテクチャを採用し、マルチタスク事前学習の目的関数の混合物に対してエンドツーエンドで訓練。
• 事前学習には、画像キャプションデータのみを用いたシンプルなレシピを採用し、4つの異なるタスク（キャプション生成、キャプション補完、画像-テキストマッチング（ITM）、マスキング言語モデル（MLM））を実施。
• 各タスクは同一の損失関数を用い、前処理の差異を最小限に抑え、画像エンコーダ、言語エンコーダ、デコーダの共同最適化を可能に。
• 特徴の統合機構は、画像とテキストの特徴を連結してからトランスフォーマーのエンコーダーを適用し、パラメータを最小限に抑えつつ性能を維持。
• 自由形式の回答生成を訓練することで、追加のプロンプトやファインチューニングなしに、未学習のタスクに対してもゼロショット推論が可能。
• 複雑なオブジェクト検出パイプラインを避けるべく、軽量でスケーラブルなアーキテクチャを採用し、ドメイン外のオブジェクトに対しても一般化を実現。

実験結果

リサーチクエスチョン

• RQ1 画像キャプションデータのみを用いたマルチタスク事前学習レシピが、多様な視覚的質問応答タスクに強いゼロショット一般化を達成できるか。
• RQ2 事前学習におけるタスクの多様性が、未学習の新しい質問応答タスクへの一般化に与える影響は。
• RQ3 エンコーダとデコーダの両方をエンドツーエンドで訓練することで、対照的または自己回帰的学習のみに比べ、性能が向上するか。
• RQ4 複数選択式ベンチマークとは対照的に、正確な回答マッチングが求められるオープンボキャブラリー設定では、モデルの性能はどの程度か。
• RQ5 複数のタスクを段階的に学習する際、マルチタスク学習が、崩壊的忘却をどの程度軽減するか。

主な発見

• 4つのタスク（キャプション生成、キャプション補完、ITM、MLM）をすべて含む完全なマルチタスク事前学習レシピが最高の性能を示し、VQA2.0 で 65.2% F1、SNLI-VE で 77.7% F1 を達成。単一タスク事前学習のいずれよりも優れた性能。
• タスクの多様性が高くなるほど、未学習タスクへのゼロショット一般化性能が顕著に向上：4タスク（B）混合ではゼロショット VQA で 16% F1 を達成、標準的な事前学習モデルではわずか 2% にとどまる。
• MS-COCO データのみを用いた事前学習で、ゼロショット検出タスクに 53% F1 を達成。4タスク（B）混合により、53% F1 まで向上し、新しいオブジェクト検出タスクへの強力な一般化を示した。
• エンコーダ/デコーダの統合層を連結ではなく、使用した場合、性能にほとんど影響がなかったが、パラメータが 4% 増加したため、効率性を考慮し、連結を採用。
• 崩壊的忘却に対する耐性を示し、継続的学習後も複数のタスクで高い性能を維持。タスクごとにファインチューニングされたモデルとは対照的。
• より良い一般化と意図理解のおかげで、一部のより大きなファインチューニング済みモデルをも上回り、オープンボキャブラリー設定で最先端の性能を発揮。