[論文レビュー] TaCA: Upgrading Your Visual Foundation Model with Task-agnostic Compatible Adapter

Binjie Zhang, Yixiao Ge+3 more|arXiv (Cornell University)|Jun 22, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本論文では、微調整を必要とせず、下流モジュールを再訓練せずに視覚基盤モデルのシームレスなホットプラグアップグレードを可能にする、タスクに依存しない互換性のあるアダプタ、TaCAを提案する。新しい基盤モデルの潜在表現を、古いモデルのものとパラメータ効率の良いチューニングにより一致させることで、ビデオ・テキスト検索、ビデオ分類、視覚的質問応答の各タスクで性能向上を達成し、MSR-VTTでは最大+5.1%、Kinetics-400では+2.2%の向上を実現した。

ABSTRACT

Visual foundation models like CLIP excel in learning feature representations from extensive datasets through self-supervised methods, demonstrating remarkable transfer learning and generalization capabilities. A growing number of applications based on visual foundation models are emerging, including innovative solutions such as BLIP-2. These applications employ pre-trained CLIP models as upstream feature extractors and train various downstream modules to accomplish diverse tasks. In situations involving system upgrades that require updating the upstream foundation model, it becomes essential to re-train all downstream modules to adapt to the new foundation model, which is inflexible and inefficient. In this paper, we introduce a parameter-efficient and task-agnostic adapter, dubbed TaCA, that facilitates compatibility across distinct foundation models while ensuring enhanced performance for the new models. TaCA allows downstream applications to seamlessly integrate better-performing foundation models without necessitating retraining. We conduct extensive experimental validation of TaCA using different scales of models with up to one billion parameters on various tasks such as video-text retrieval, video recognition, and visual question answering. The results consistently demonstrate the emergent ability of TaCA on hot-plugging upgrades for visual foundation models. Codes and models will be available at https://github.com/TencentARC/TaCA.

研究の動機と目的

• 視覚基盤モデルをアップグレードする際の再訓練の非効率性と高コストを解消すること。
• 既存の下流コンponentを変更せずに、改善された基盤モデルをシステムにシームレスに統合できることを可能にすること。
• 新しいモデルと古いモデルの潜在空間における互換性を保証する、タスクに依存しない適応メカニズムを開発すること。
• より強力な基盤モデルにアップグレードすることで、下流タスクの性能を向上させつつ、既存の下流モジュールとの互換性を維持すること。
• Flamingo や BLIP-2 などのモジュラー枠組みを用いて、実世界のマルチモーダルシステムにおけるホットプラグアップグレードの実現可能性と有効性を示すこと。

提案手法

• 新しい視覚基盤モデルの上に、軽量でパrameter効率の良いアダプタ（TaCA）を訓練し、その潜在表現を元のモデルのものと一致させる。
• 次元一致プロジェクタを用いて、新しいモデルの特徴を古いモデルの表現と同じ空間に射影する。
• 古いモデルからのみ得られる特徴間のL2距離を最小化する蒸留損失を用いてTaCAを最適化する。
• 新しい視覚的特徴と古いテキスト特徴の間のクロスアテンションを用いた対照的損失を、蒸留損失と組み合わせることで、マルチモーダルな整合性を維持する。
• 古いモデルおよび新しいモデルのバックボーンパラメータを固定し、トレーニング中はアダプタおよびプロジェクタのコンponentsのみをファインチューニングする。
• Flamingo や BLIP-2 などのモジュラーフレームワークにこの手法を適用し、視覚エンコーダーをTaCA強化済みモデルに置き換えつつ、すべての下流モジュールをそのままであるようにする。

実験結果

リサーチクエスチョン

• RQ1 下流モジュールの再訓練を伴わず、視覚基盤モデルのホットプラグアップグレードを可能にするパrameter効率の良いアダプタを設計できるか？
• RQ2 タスクに依存しないアダプタを介して統合された新しい基盤モデルが、下流タスクの性能をどの程度向上できるか？
• RQ3 モデルアーキテクチャ内でのTaCAアダプタの配置が、性能および互換性に与える影響は何か？
• RQ4 より強力な基盤モデルにアップグレードする際、提案手法がマルチモーダル整合性（例：画像・テキスト）を維持または強化するか？
• RQ5 TaCAは、ビデオ・テキスト検索、ビデオ分類、視覚的質問応答といった多様な下流タスクに一般化可能か？

主な発見

• ViT-B/16 を TaCA-ViT-H/14 に置き換えることで、MSR-VTT におけるテキストから動画への検索性能が R@1 で +5.1% 向上した。
• 同じアップグレードにより、Kinetics-400 におけるビデオ分類のトップ1正解率が +2.2% 向上した。
• VQAv2 ベンチマークでは、TaCA-ViT-H/14 が OpenFlamingo (ViT-L/14) よりゼロショット視覚的質問応答で +0.6% の優位性を示した。
• ViT-H/14 モデルの全層（1–24）に TaCA アダプタを挿入した場合が最良の性能を示し、MSR-VTT でベースライン比 +2.6% の向上を達成した。
• 浅い層（1–12）にアダプタを配置した場合、深い層（13–24）に配置した場合よりも優れた性能を示し、初期層の適応が表現一致に有効であることを示した。
• Flamingo や BLIP-2 を含む複数のフレームワークで一貫した性能向上を達成し、広範な互換性とスケーラビリティを示した。