[論文レビュー] Instruction-ViT: Multi-Modal Prompts for Instruction Learning in ViT

Zhenxiang Xiao, Yuzhong Chen+15 more|arXiv (Cornell University)|Apr 29, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本論文では、指示微調整を用いてテキスト、画像、または組み合わせのマルチモーダルプロンプトで制御される、画像分類を向上させるためのビジョントランスフォーマー枠組みであるInstruction-ViTを提案する。ViTバックボーンと視覚的・言語的プロンプト埋め込みを同時に微調整することで、複数のデータセットにおいて優れた正確性と高速な適応性を達成し、標準的な微調整法や視覚的プロンプト微調整（VPT）を上回る性能を発揮する。

ABSTRACT

Prompts have been proven to play a crucial role in large language models, and in recent years, vision models have also been using prompts to improve scalability for multiple downstream tasks. In this paper, we focus on adapting prompt design based on instruction tuning into a visual transformer model for image classification which we called Instruction-ViT. The key idea is to implement multi-modal prompts (text or image prompt) related to category information to guide the fine-tuning of the model. Based on the experiments of several image captionining tasks, the performance and domain adaptability were improved. Our work provided an innovative strategy to fuse multi-modal prompts with better performance and faster adaptability for visual classification models.

研究の動機と目的

• マルチモーダルプロンプトを統合した指示微調整を用いて、ビジョントランスフォーマーの画像分類性能を向上させること。
• ゼロショットまたはフェイントショットの状況において、テキスト、画像、または組み合わせのプロンプトがモデルの適応性と正確性に与える影響を調査すること。
• 事前学習済みのViTバックボーンを用いたプロンプト微調整により、広範なパラメータ更新の必要性を低減すること。
• 多様な画像分類ベンチマークにおいてマルチモーダルプロンプトの有効性を評価すること。
• テキストおよび視覚的プロンプトを視覚的タスクの指示信号として併用する可能性を検討すること。

提案手法

• モデルは、CLIPエンコーダーを用いて視覚的および言語的特徴を抽出するため、事前学習済みのViT-Bバックボーンを採用する。
• テキストプロンプトは、画像の潜在的カテゴリに基づいて構築され、画像トークンと同じ埋め込み空間に投影される。
• 視覚的および言語的プロンプト埋め込みを分類ヘッドとともに微調整し、入力画像表現と整合させる。
• CLSトークンと各カテゴリのプロンプト埋め込みとの類似度スコアを計算して分類を行う。
• 単一モーダル（テキストまたは画像）およびマルチモーダル（テキスト＋画像）プロンプトをサポートし、柔軟な微調整を可能にする。
• 微調整対象はプロンプト埋め込みと分類ヘッドのみであり、事前学習済みのViTパラメータの大部分を保持する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルプロンプトを用いた指示微調整は、ビジョントランスフォーマーにおけるゼロショットおよびフェイントショット画像分類性能を向上させることができるか？
• RQ2 テキストのみ、画像のみ、またはテキストと画像の組み合わせのプロンプトを使用した場合、モデルの正確性と適応性にどのような影響を与えるか？
• RQ3 事前学習済みのViTとCLIPエンコーダーを用いたプロンプトベースの微調整は、標準的な微調整法や視覚的プロンプト微調整（VPT）を上回る性能を発揮するか？
• RQ4 特定のプロンプトモダリティ（テキスト、画像、または混合）が最適なパフォーマンスを示すデータセットやシナリオは何か？
• RQ5 マルチモーダルプロンプトは、パラメータ更新の必要性を低減しつつ、性能を維持または向上させることができるか？

主な発見

• Instruction-ViTは4つのデータセットで平均95.59%の正確性を達成し、標準的なViT-B（95.57%）やDeiT-B、ResNet-152といった他のモデルを上回った。
• オックスフォード-IIIペッツデータセットでは、テキストプロンプトが84.74%の正確性を達成し、すべてのプロンプトタイプの中で最高だった。
• Caltech-101では、画像プロンプトが80.85%の正確性を達成し、このデータセットにおいて最も高い性能を示した。
• Stanford Carsでは、テキストと画像の混合プロンプトが66.11%の正確性を達成し、すべてのプロンプトタイプの中で最高だった。
• Instruction-ViTはVPT手法を平均7.9%上回り、指示に従うマルチモーダルプロンプティングの優位性を示した。
• 特に、各データセットに特化したモダリティのプロンプトを用いることで、モデルはより高速な適応性と優れたドメイン一般化性能を示した。