[論文レビュー] Task Residual for Tuning Vision-Language Models

Changyuan Yu, Zhihe Lu+3 more|arXiv (Cornell University)|Nov 18, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、事前学習済みのテキストベース分類器を凍結したまま、タスク固有で事前知識に依存しないパラメータ（「タスクリーマンス」）を追加することで、ビジョン・ランゲージモデル（VLMs）の効率的なファインチューニングを実現するシンプルかつ効果的な手法であるTask Residual Tuning（TaskRes）を提案する。TaskResは、11のベンチマークデータセットにおいて、プロンプトチューニングやアダプタスタイルのチューニングといった既存手法を大きく上回り、最小限の実装作業（コード変更1行）で最先端の性能を達成する。

ABSTRACT

Large-scale vision-language models (VLMs) pre-trained on billion-level data have learned general visual representations and broad visual concepts. In principle, the well-learned knowledge structure of the VLMs should be inherited appropriately when being transferred to downstream tasks with limited data. However, most existing efficient transfer learning (ETL) approaches for VLMs either damage or are excessively biased towards the prior knowledge, e.g., prompt tuning (PT) discards the pre-trained text-based classifier and builds a new one while adapter-style tuning (AT) fully relies on the pre-trained features. To address this, we propose a new efficient tuning approach for VLMs named Task Residual Tuning (TaskRes), which performs directly on the text-based classifier and explicitly decouples the prior knowledge of the pre-trained models and new knowledge regarding a target task. Specifically, TaskRes keeps the original classifier weights from the VLMs frozen and obtains a new classifier for the target task by tuning a set of prior-independent parameters as a residual to the original one, which enables reliable prior knowledge preservation and flexible task-specific knowledge exploration. The proposed TaskRes is simple yet effective, which significantly outperforms previous ETL methods (e.g., PT and AT) on 11 benchmark datasets while requiring minimal effort for the implementation. Our code is available at https://github.com/geekyutao/TaskRes.

研究の動機と目的

• ビジョン・ランゲージモデルの効率的転移学習（ETL）手法に共通する課題、すなわち事前知識の損ないや過度な依存を解消すること。
• ファインチューニング中に事前知識とタスク固有の知識を明示的に分離することで、強力な事前学習済み表現を保持しつつ柔軟な適応を可能にすること。
• 限られたダウンストリームデータでも高い性能を維持できるシンプルでパラメータ効率の良い手法を開発すること。
• 多様なダウンストリームタスクにおいて、学習されたタスクリーマンスの大きさと転移の難易度の関係を調査すること。

提案手法

• TaskResは、事前学習済みのテキストベース分類器の重みを凍結し、元の分類器に学習可能な事前知識に依存しないパラメータ（リーマンス）を追加する。
• リーマンスは加法的更新により分類器の重みに直接追加される：W_new = W_base + α × W_residual、ここでαはスケーリング係数である。
• 本手法は分類器ヘッドにのみ作用し、テキスト埋め込みの再計算やアーキテクチャの変更を回避する。
• タスクリーマンスはモデル全体とエンドツーエンドで訓練されるが、ベース分類器は固定されたまま維持される。
• 本手法はパラメータ効率が高く、実装には単一のコード変更で十分である。
• 本手法はさまざまなビジョンエンコーダー（例：ResNet、ViT）と互換性があり、複数のフェイシュート設定で動作する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトチューニングやアダプタスタイルのチューニングと比較して、TaskResはタスク適応中に事前知識をどれほど保持できるか？
• RQ2 学習されたタスクリーマンスの大きさと、事前学習済みVLMを新しいタスクに転移させる難易度との関係は何か？
• RQ3 アーキテクチャの変更なしに、シンプルな加法的リーマンス機構がフェイシュート転移性能を顕著に向上させられるか？
• RQ4 性能向上の程度から見て、タスクリーマンスはタスクの複雑さに自動的に適応していると示唆されるか？
• RQ5 異なる視覚バックボーン（例：ResNet、ViT）がTaskResの有効性に与える影響は何か？

主な発見

• TaskResは11の多様なベンチマークデータセットにおいて、1ショットから16ショットの設定で最先端の性能を達成し、ゼロショットCLIP、CoOp、CLIP-Adapter、Tip-Adapter-Fを上回る。
• ImageNetでは1ショット学習で64.75％の正確度を達成し、ゼロショットCLIP（58.18％）とCLIP-Adapter（63.59％）を上回った。
• 学習されたタスクリーマンスの大きさは、相対的な転移難易度と強く相関しており、特に難易度の高いタスク（例：EuroSAT：1ショットで23.71％の向上、DTD：1ショットで7.85％の向上）で顕著に増加した。
• TaskResはResNet-50、ResNet-101、ViT-B/32、ViT-B/16など、さまざまな視覚バックボーンで一貫した向上を示し、ベースライン手法よりも最大2.5％の向上を達成した。
• 本手法は最小限の実装作業でこれらの向上を達成しており、既存モデルに統合するには単一のコード変更で十分であった。
• 全体的な性能は優れているが、2つのデータセット（OxfordPetsおよびFood101）ではネガティブトランスファーを示しており、高難易度・高精度のゼロショット状況では限界がある可能性を示唆している。