[論文レビュー] Declaration-based Prompt Tuning for Visual Question Answering

Yuhang Liu, Wei Wei+2 more|arXiv (Cornell University)|May 5, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、視覚的質疑応答（VQA）のための新しいファインチューニングパラダイムとして、宣言文ベースのプロンプトチューニング（DPT）を提案する。DPTは、質問を[MASK]トークンを含む宣言文に変換することで、事前学習の目的（マスク言語モデル化（MLM）と画像・テキストマッチング（ITM））と整合させる。DPTは完全教師あり設定で2.68%の精度向上を達成し、GQAにおいてゼロショット／少数ショット設定で31%以上の絶対的改善を示しており、事前学習済みの視覚・言語モデル全体にわたる強力な一般化性能を示している。

ABSTRACT

In recent years, the pre-training-then-fine-tuning paradigm has yielded immense success on a wide spectrum of cross-modal tasks, such as visual question answering (VQA), in which a visual-language (VL) model is first optimized via self-supervised task objectives, e.g., masked language modeling (MLM) and image-text matching (ITM), and then fine-tuned to adapt to downstream task (e.g., VQA) via a brand-new objective function, e.g., answer prediction. The inconsistency of the objective forms not only severely limits the generalization of pre-trained VL models to downstream tasks, but also requires a large amount of labeled data for fine-tuning. To alleviate the problem, we propose an innovative VL fine-tuning paradigm (named Declaration-based Prompt Tuning, abbreviated as DPT), which jointly optimizes the objectives of pre-training and fine-tuning of VQA model, boosting the effective adaptation of pre-trained VL models to the downstream task. Specifically, DPT reformulates the objective form of VQA task via (1) textual adaptation, which converts the given questions into declarative sentence-form for prompt-tuning, and (2) task adaptation, which optimizes the objective function of VQA problem in the manner of pre-training phase. Experimental results on GQA dataset show that DPT outperforms the fine-tuned counterpart by a large margin regarding accuracy in both fully-supervised (2.68%) and zero-shot/few-shot (over 31%) settings. All the data and codes will be available to facilitate future research.

研究の動機と目的

• 事前学習とファインチューニングの間で目的形式の不一致が引き起こす性能差を是正すること。
• VQAにおける大規模なラベル付きデータセットへの依存度を低下させることで、ダウンストリームタスクの目的を事前学習の目的と一致させること。
• 統一された目的形式を用いることで、ゼロショットおよび少数ショットの一般化性能を向上させること。
• タスク固有の分類ヘッドを導入せずに、事前学習済みの視覚・言語モデルの効果的適応を可能とすること。

提案手法

• テキストの適応：質問語を[MASK]トークンまたは候補となる答えに置き換えることで、入力の質問を宣言文に変換する。
• タスクの適応：[MASK]トークンの予測としてマスク言語モデル化（MLM）タスクを定式化し、最良の一致する答えの選択として画像・テキストマッチング（ITM）タスクを定式化する。
• 新しい分類ヘッドを導入せずに、事前学習の目的（MLMとITM）のみを用いてビジョン・ランゲージモデルをファインチューニングする。
• 事前学習とファインチューニングの両方で同じ目的関数（MLMとITM）を用いることで、分布ギャップを最小限に抑える。
• UNITER や ViLT などのさまざまな事前学習モデルにこの手法を適用し、汎用性を実証する。
• 追加パラメータをプロンプトテンプレート以外に追加せずに、標準的な交差エントロピー損失を用いてモデルをエンドツーエンド最適化する。

実験結果

リサーチクエスチョン

• RQ1 VQAのファインチューニングの目的形式を事前学習の目的と一致させることで、モデルの一般化性能が向上するか？
• RQ2 標準的なファインチューニングと比較して、DPTはゼロショットおよび少数ショットのVQA設定でどのように性能を発揮するか？
• RQ3 [MASK]トークンを含む宣言文に変換された質問は、属性やグローバル意味の理解を向上させるか？
• RQ4 DPTは、さまざまな事前学習済みの視覚・言語モデルにどの程度一般化されるか？
• RQ5 DPTは、性能を損なわせることなく、VQAにおける大規模なラベル付きデータセットの必要性を低減できるか？

主な発見

• DPTは、完全教師あり設定においてGQAデータセットで標準的なファインチューニングよりも2.68%の絶対的精度向上を達成した。
• ゼロショットおよび少数ショット設定では、ベースラインと比較してDPTが31.8%から37.4%の精度向上を示し、ゼロショットでは訓練データが一切不要であった。
• 属性ベースの質問では、DPTが5.59ポイント（70.46% vs. 64.87%）の精度向上を達成し、属性理解の向上を示した。
• グローバルスコープの質問では、DPTが2.55ポイント（59.24% vs. 56.69%）の精度向上を達成し、より強いグローバル推論能力を示した。
• DPTはモデル間で一般化可能である：UNITER+DPTは、それぞれのファインチューニングベースラインに対して1.01%向上し、ViLT+DPTは0.46%向上した。
• ケーススタディでは、DPTがITMを活用して意味的一致性を確保することで、曖昧な質問を正しく解釈し、答えの頻度に依存するベースラインを上回った。