[論文レビュー] MmAP : Multi-modal Alignment Prompt for Cross-domain Multi-task Learning

Xin Yi, Junlong Du+3 more|arXiv (Cornell University)|Dec 14, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、CLIPを用いたクロスドメインマルチタスク学習のためのマルチモーダルアライメントプロンプト手法MmAPを提案する。テキストと視覚的プロンプトをキロネッカー積を用いて同時に最適化することで、モダリティ間のアライメントを維持する。Office-HomeおよびminiDomainNetで、完全微調整パラメータの約0.09%のパラメータのみで最先端の性能を達成し、あらゆるショット設定で既存のプロンプトチューニングベースラインを上回る。

ABSTRACT

Multi-Task Learning (MTL) is designed to train multiple correlated tasks simultaneously, thereby enhancing the performance of individual tasks. Typically, a multi-task network structure consists of a shared backbone and task-specific decoders. However, the complexity of the decoders increases with the number of tasks. To tackle this challenge, we integrate the decoder-free vision-language model CLIP, which exhibits robust zero-shot generalization capability. Recently, parameter-efficient transfer learning methods have been extensively explored with CLIP for adapting to downstream tasks, where prompt tuning showcases strong potential. Nevertheless, these methods solely fine-tune a single modality (text or visual), disrupting the modality structure of CLIP. In this paper, we first propose Multi-modal Alignment Prompt (MmAP) for CLIP, which aligns text and visual modalities during fine-tuning process. Building upon MmAP, we develop an innovative multi-task prompt learning framework. On the one hand, to maximize the complementarity of tasks with high similarity, we utilize a gradient-driven task grouping method that partitions tasks into several disjoint groups and assign a group-shared MmAP to each group. On the other hand, to preserve the unique characteristics of each task, we assign an task-specific MmAP to each task. Comprehensive experiments on two large multi-task learning datasets demonstrate that our method achieves significant performance improvements compared to full fine-tuning while only utilizing approximately 0.09% of trainable parameters.

研究の動機と目的

• 標準的なMTLフレームワークにおけるタスク固有のデコーダーに起因するパラメータの爆発問題に対処すること。
• テキストまたは視覚的プロンプトのみをチューニングする単一モダリティプロンプトチューニングの限界を克服し、CLIPが内蔵するモダリティ間アライメントを損なわないようにすること。
• プロンプトチューニング中にモダリティアライメントを維持することで、CLIPの効率的かつパラメータ効率の良いマルチタスク適応を可能にすること。
• 類似したタスクをグループ化して補完性を高める一方で、タスク固有の特徴を保持するマルチタスクプロンプト学習フレームワークを設計すること。
• 最小限のトレーナブルパラメータで、クロスドメインマルチタスクベンチマーク全体にわたる強力な一般化性能を達成すること。

提案手法

• キロネッカー積を用いて共通のソースプロンプトからテキストおよび視覚的プロンプトを生成することで、チューニング中にクロスマダリティアライメントを強制するマルチモーダルアライメントプロンプトMmAPを提案する。
• 勾配類似度に基づくタスクグループ化戦略を導入し、類似した勾配を持つタスクをクラスタリングして、互いに重複しないグループを形成し、共有MmAPチューニングを実施する。
• 各個々のタスクにタスク固有のMmAPを割り当て、独自の表現特徴を保持する。
• グループ共有MmAPとタスク固有MmAPを組み合わせたマルチタスクプロンプト学習フレームワークを構築し、知識共有とタスク独立性のバランスを図る。
• 追加のデコーダーを一切使用せず、CLIPの事前学習済みビジョン・ランゲージエンコーダーを活用することで、ゼロショット一般化とパラメータ効率性を実現する。
• バックボーン重みではなく、プロンプトパラメータのみをトレーニングすることで、トレーナブルパラメータを約0.09%の完全微調整パラメータにまで削減する。

実験結果

リサーチクエスチョン

• RQ1 CLIPにおけるテキストおよび視覚的プロンプトの共同チューニングは、単一モダリティプロンプトチューニングに比べ、モダリティアライメントをより効果的に維持できるか？
• RQ2 標準的なプロンプトチューニングと比較して、マルチモーダルプロンプトアライメントはクロスドメインマルチタスク学習における性能にどのように影響するか？
• RQ3 勾配に基づくタスクグループ化は、類似したタスク間の補完性を高めることで性能向上をもたらすか？
• RQ4 グループ共有とタスク固有のプロンプトを組み合わせることで、単一のタイプのみを用いる場合よりも優れた性能が得られるか？
• RQ5 パラメータ効率の良いプロンプトチューニング手法は、最小限のトレーナブルパラメータで、完全微調整に近い性能を達成できるか、その程度はどの程度か？

主な発見

• MmAPはマルチモーダルプロンプトチューニングにおいてMLPベースラインを0.54%上回り、モダリティ間の情報共有が優れていることを示している。
• Office-Homeでは20%ショット設定で87.77%の正確度を達成し、CoOp-MT、VPT-MT、MaPLe-MTを含むすべてのベースラインを上回っている。
• 勾配に基づくグループ化を用いたマルチタスクプロンプト学習フレームワークは、10%と20%のデータ設定において、ランダムグループ化と比較してそれぞれ0.68%および0.85%の性能向上を示している。
• 1ショットでは、アートおよびリアルワールドタスクにおいてすべての手法がゼロショットCLIPを下回るが、MmAPは3ショット以降で最大の性能ギャップ縮小を示しており、強力な一般化能力を示している。
• MmAPはトレーナブルパラメータを約0.13M（MLPベースラインの3.96M）にまで削減し、完全微調整パラメータの約0.09%にまでに抑えつつ、高い性能を維持している。
• アブレーションスタディの結果、グループ共有およびタスク固有のMmAPコンponentsの両方が不可欠であることが確認され、完全なフレームワークはすべてのアブレーションバージョンを上回っている。