[論文レビュー] Parameter-efficient Tuning of Large-scale Multimodal Foundation Model

Haixin Wang, Xinlong Yang+6 more|arXiv (Cornell University)|May 15, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、大規模なマルチモーダル基礎モデル向けに、モード近似を用いて訓練可能パラメータをたった0.1M（全モデルの約0.04％）に削減する、パrameter効率の良いチューニングフレームワークAuroraを提案する。同時に、クロスモダリティの整合性を向上させるための情報的コンテキスト強化モジュールとゲート付きクエリ変換モジュールを導入している。Auroraは6つのクロスモダリティベンチマークで最先端の性能を達成しており、全微調整を上回る性能を示しており、訓練可能パラメータは全モデルの0.05％にとどまっている。

ABSTRACT

Driven by the progress of large-scale pre-training, parameter-efficient transfer learning has gained immense popularity across different subfields of Artificial Intelligence. The core is to adapt the model to downstream tasks with only a small set of parameters. Recently, researchers have leveraged such proven techniques in multimodal tasks and achieve promising results. However, two critical issues remain unresolved: how to further reduce the complexity with lightweight design and how to boost alignment between modalities under extremely low parameters. In this paper, we propose A graceful prompt framework for cross-modal transfer (Aurora) to overcome these challenges. Considering the redundancy in existing architectures, we first utilize the mode approximation to generate 0.1M trainable parameters to implement the multimodal prompt tuning, which explores the low intrinsic dimension with only 0.04% parameters of the pre-trained model. Then, for better modality alignment, we propose the Informative Context Enhancement and Gated Query Transformation module under extremely few parameters scenes. A thorough evaluation on six cross-modal benchmarks shows that it not only outperforms the state-of-the-art but even outperforms the full fine-tuning approach. Our code is available at: https://github.com/WillDreamer/Aurora.

研究の動機と目的

• 大規模なマルチモーダル基礎モデルの微調整にかかる計算コストとストレージコストの削減。
• パラメータ依存度を低減しつつ、性能を維持または向上させる。
• 極めて少ないパラメータ予算下でもクロスモダリティの整合性を強化すること。
• 小規模なダウンストリームタスクに適した軽量かつ効果的なチューニングフレームワークの開発。
• 従来のパrameter効率の良い手法がマルチモーダル設定で抱える限界を克服し、より深いユニモダリティ特徴の統合を統合すること。

提案手法

• CANDECOMP/PARAFAC（CP）分解に基づくモード近似を適用し、訓練可能パラメータをたった0.1Mに制限。これは、ダウンストリームタスクの低い内因的次元性を活用する。
• 特徴統合の前段階で、コンテキスト情報を含むユニモダリティ特徴を豊かにするための情報的コンテキスト強化モジュールを導入。
• テキスト特徴の寄与度を動的に制御するためのゲート付きクエリ変換モジュールを設計。
• 事前学習されたバックボーンを固定し、軽量アダプタ部のみを微調整することで、パラメータ更新を最小限に抑える。
• 全微調整を回避する軽量プロンプトベースのフレームワークを採用し、モデルの一般化性能を維持する。
• アテンション機構の内因的低ランク構造を活用し、冗長性を低減し、タスク関連の特徴に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 パrameter効率の良いチューニング手法が、大幅に削減された訓練可能パラメータでマルチモーダルタスクにおいて最先端の性能を達成できるか？
• RQ2 訓練可能パラメータ数が極めて少ない状況下で、どのようにしてモダリティの整合性を向上させられるか？
• RQ3 モード近似が、マルチモーダルモデルにおけるダウンストリームタスクの内因的次元性をどの程度効果的に捉えることができるか？
• RQ4 軽量アダプタが、効率性と正確性の両面で全微調整を上回ることができるか？
• RQ5 提案手法は、多様なクロスモダリティベンチマークにどの程度一般化可能か？

主な発見

• Auroraは、画像・テキスト検索、動画・テキスト検索、視覚的質問応答を含む6つのクロスモダリティベンチマークで最先端の性能を達成した。
• MSRVTTおよびVQAv2ベンチマークでは、訓練可能パラメータが全モデルの約0.05％にとどまるにもかかわらず、それぞれ1.8％および0.5％の性能向上を達成し、全微調整を上回った。
• わずか0.1Mの訓練可能パラメータで強力な性能を発揮し、これは事前学習モデルの全パラメータの0.04％に相当する。
• 定性的な分析から、Auroraは動画・テキスト検索および視覚的質問応答において、UniAdapterよりもより正確で文脈的に関連性の高い予測を示すなど、一般化性能に優れていることがわかった。
• パラメータ分布の可視化から、Auroraは一般化性能を損なわせることなく、局所的かつ過学習を回避する形で事前学習重みを適応させていることが確認された。
• ゲート付きクエリ変換モジュールは、極めて少ないパラメータ環境下でも、テキスト情報の流れを効果的に制御し、モダリティの整合性を向上させた。