[論文レビュー] Non-Intrusive Adaptation: Input-Centric Parameter-efficient Fine-Tuning for Versatile Multimodal Modeling

Yaqing Wang, Jialin Wu+9 more|arXiv (Cornell University)|Oct 18, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文では、アーキテクチャを変更せずに、入力に焦点を当てたパラメータ効率の良い微調整手法であるAdaLinkを提案する。入力埋め込みとトランスフォーマーブロックの間に、軽量で低ランクのMLPモジュールを挿入することで、完全微調整と同等の性能を達成する。AdaLinkは、モデルのパラメータの0.02%未満で、テキストおよびマルチモーダルタスクで最先端の結果を達成する。

ABSTRACT

Large language models (LLMs) and vision language models (VLMs) demonstrate excellent performance on a wide range of tasks by scaling up parameter counts from O(10^9) to O(10^{12}) levels and further beyond. These large scales make it impossible to adapt and deploy fully specialized models given a task of interest. Parameter-efficient fine-tuning (PEFT) emerges as a promising direction to tackle the adaptation and serving challenges for such large models. We categorize PEFT techniques into two types: intrusive and non-intrusive. Intrusive PEFT techniques directly change a model's internal architecture. Though more flexible, they introduce significant complexities for training and serving. Non-intrusive PEFT techniques leave the internal architecture unchanged and only adapt model-external parameters, such as embeddings for input. In this work, we describe AdaLink as a non-intrusive PEFT technique that achieves competitive performance compared to SoTA intrusive PEFT (LoRA) and full model fine-tuning (FT) on various tasks. We evaluate using both text-only and multimodal tasks, with experiments that account for both parameter-count scaling and training regime (with and without instruction tuning).

研究の動機と目的

• 大規模なビジョン・ランゲージモデルを、内部アーキテクチャを変更せずに効率的に適応する課題に対処すること。
• 複雑でマルチモーダルなタスクにおいて、プロンプトチューニングなどの既存の非侵襲的PEFT手法が抱える最適化の難しさと性能制限を克服すること。
• パラメータ効率的で、モジュラーかつデプロイ可能な適応技術を開発し、さまざまなタスクやモデルスケールとの互換性を維持すること。
• Rawおよびインstructチューニング済みLLMの両方において、特にマルチモーダルおよびマルチタスク設定においてAdaLinkの有効性を評価すること。

提案手法

• AdaLinkは、入力埋め込みとメインのトランスフォーマーブロックの間に、学習可能なアダプタ層として機能する軽量で低ランクのMLPモジュールを挿入する。
• アダプタ重みに「ゼロ初期化」を適用することで、プロンプトベース手法で一般的な初期最適化の問題を回避し、学習を安定化させる。
• 特定の入力埋め込みのみを効果的に変更することで、部分的な入力適応を実現し、異なるモダリティやタスク間の干渉を最小限に抑える。
• アダプタの計算コストは埋め込み次元に対して線形に増加するが、シーケンス長の増加に伴うパラメータの二次的増加を回避する（プロンプトチューニングと比較）。
• このアプローチは非侵襲的である：コアとなるトランスフォーマーのアーキテクチャと事前学習済み重みはそのままであり、モデルの互換性を保ちつつ、シンプルさを実現する。
• サービングの設定が可能で、モジュラーなデプロイメントをサポートしており、異なるタスクに応じて動的に異なる適応モジュールをロード可能である。

Figure 1: Overview of AdaLink . Only newly added AdaLink modules are learnable while maintaining other components frozen. The different data is first fed into embedding layer and then goes through the corresponding AdaLink respectively before main shared Transformer Blocks for adaptation per scenari

実験結果

リサーチクエスチョン

• RQ1 非侵襲的で入力中心のPEFT手法が、マルチモーダルおよびテキスト専用タスクで完全微調整と同等の性能を達成できるか？
• RQ2 LoRA やプロンプトチューニングなどの侵襲的PEFT手法と比較して、AdaLinkは最適化の安定性と最終的な性能で優れているか？
• RQ3 インストラクションチューニングとAdaLinkを組み合わせることで、必要な適応パラメータ数がさらに削減され、一般化性能が向上するか？
• RQ4 さまざまなモデルサイズやパラメータ数の変動に対しても、AdaLinkは強力な性能を維持できるか？
• RQ5 マルチモーダル設定における部分的入力適応が、モダリティの整合性とタスク一般化に与える影響は何か？

主な発見

• AdaLinkは、モデルのパラメータの0.02%未満で適応を行うが、テキストおよびマルチモーダルタスクで完全微調整と同等またはそれ以上の性能を達成する。
• 特に複雑でマルチタスクな設定において、プロンプトチューニングよりも最適化の安定性と最終的な性能が優れている。
• インストラクションチューニング済みモデルをAdaLinkで微調整すると、必要な適応パラメータ数が減少し、収束が速く、結果も改善される。
• AdaLinkは、埋め込み次元に対して線形の計算複雑性を維持しており、プロンプトチューニングの二次的コストを回避する。
• モジュラーで非侵襲的な設計により、アーキテクチャの変更なしに、複数のタスクに柔軟かつスケーラブルかつ信頼性のあるデプロイメントが可能である。
• 実験的結果から、AdaLinkは視覚的トークンの位置を効果的に保持しており、VQA や画像キャプションなどのビジョン・ランゲージタスクで強力な性能を発揮することが示された。