[論文レビュー] Efficient Adaptation of Large Vision Transformer via Adapter Re-Composing

Wei Dong, Dawei Yan+2 more|arXiv (Cornell University)|Oct 10, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文では、層間でダウンプロジェクションおよびアッププロジェクション行列を共有し、層ごとの適応係数を低次元で学習することで、層に適応するアダプタを再構成する、パラメータ効率の良い手法であるAdapter Re-Composing (ARC) を提案する。この手法により、24の画像分類タスクにおいて強力な転移学習性能を維持しつつ、適応に必要なパラメータ数を削減することができる。

ABSTRACT

The advent of high-capacity pre-trained models has revolutionized problem-solving in computer vision, shifting the focus from training task-specific models to adapting pre-trained models. Consequently, effectively adapting large pre-trained models to downstream tasks in an efficient manner has become a prominent research area. Existing solutions primarily concentrate on designing lightweight adapters and their interaction with pre-trained models, with the goal of minimizing the number of parameters requiring updates. In this study, we propose a novel Adapter Re-Composing (ARC) strategy that addresses efficient pre-trained model adaptation from a fresh perspective. Our approach considers the reusability of adaptation parameters and introduces a parameter-sharing scheme. Specifically, we leverage symmetric down-/up-projections to construct bottleneck operations, which are shared across layers. By learning low-dimensional re-scaling coefficients, we can effectively re-compose layer-adaptive adapters. This parameter-sharing strategy in adapter design allows us to significantly reduce the number of new parameters while maintaining satisfactory performance, thereby offering a promising approach to compress the adaptation cost. We conduct experiments on 24 downstream image classification tasks using various Vision Transformer variants to evaluate our method. The results demonstrate that our approach achieves compelling transfer learning performance with a reduced parameter count. Our code is available at \href{https://github.com/DavidYanAnDe/ARC}{https://github.com/DavidYanAnDe/ARC}.

研究の動機と目的

• 微調整におけるトレーニング可能なパラメータ数を削減することで、大規模な事前学習済みVision Transformersの適応コストを低減すること。
• 従来のアダプタ手法が層数に比例してパラメータ数が増加するという制限を克服し、パラメータの再利用性を導入すること。
• 低ランクの適応行列が、層間で共有された基本投影行列を用いて効果的に再構成可能かどうかを検証すること。
• 推論コストを増加させることなく、性能を維持するスケーラブルで軽量なアダプタ設計を開発すること。

提案手法

• 対称的なダウンプロジェクションおよびアッププロジェクション行列を用いた低ランクアダプタ構造を導入し、ボトルネック演算を形成する。
• すべての層でダウンプロジェクションおよびアッププロジェクション行列を共有することで、学習すべき固有のパラメータ数を削減する。
• 層固有の再構成係数（低次元のベクトル）を学習し、各層のアダプタの有効な投影を動的に調整する。
• アダプタをマルチヘッドアテンション（MHA）およびフィードフォワードネットワーク（FFN）モジュールの前後に配置することで、包括的な特徴適応を可能にする。
• 層数に比例して適応パラメータ数が増加しないように、パラメータ共有スキームを採用する。
• 推論時に追加計算を生じさせないよう、アダプタの配置を最適化することで推論効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 Vision Transformersにおいて、適応パラメータを層間で効果的に再利用することで、トレーニング可能なパラメータ数を削減できるか？
• RQ2 ダウンプロジェクションおよびアッププロジェクション行列を層間で共有し、再構成係数のみを学習することで、パラメータ効率が向上し、性能の低下が生じないか？
• RQ3 ボトルネック次元数の選択が、モデル性能とパラメータ数のトレードオフにどのように影響するか？
• RQ4 アダプタの最適な配置（MHA/FFNの前後）は、転移学習性能を最大化するためにどのようになるか？
• RQ5 挿入するアダプタ層の数が最終的な性能に与える影響は何か？また、逐次的挿入と並列的挿入のどちらがより優れた結果をもたらすか？

主な発見

• ボトルネック次元数が50のときに、性能とパラメータ効率のバランスが最良となる。10次元では性能が低下し、より高い次元数ではさらに悪化する。
• MHAおよび/またはFFNモジュールの後にアダプタを配置すると、両モジュールの前に配置した場合に比べて性能が低下する。
• MHAとFFNの両方にアダプタを挿入することで、片方のみに挿入する場合よりも優れた性能が得られ、複数モジュールへの適応の利点が示された。
• パラメータ共有設計により、性能に損なわれることなくトレーニング可能なパラメータ数が顕著に削減された。非共有または非対称設計ではパラメータ数が増加するが、性能向上は見られなかった。
• 最初の6層にアダプタを挿入すると、最後の6層に挿入する場合よりも優れた性能が得られた。これは、初期層が適応によってより大きな恩恵を受けることを示唆している。
• パラメータ共有スキームにより、適応パラメータ数が層数に比例して増加しなくなり、より深いモデルに対してもスケーラビリティが向上した。