[論文レビュー] Parameter-efficient Model Adaptation for Vision Transformers

Xuehai He, Chunyuan Li+3 more|arXiv (Cornell University)|Mar 29, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、重み更新を低ランクのクリロネッカー積に投影することで、パラメータ効率の高いビジョントランスフォーマー微調整手法であるKronecker Adaptation（KAdaptation）を提案する。少サンプル設定下で、全モデルパラメータの0.09%のみを用いて最先端の精度を達成した。20の画像分類データセットにおいて、精度とパラメータ効率の両面で既存手法を上回った。

ABSTRACT

In computer vision, it has achieved great transfer learning performance via adapting large-scale pretrained vision models (e.g., vision transformers) to downstream tasks. Common approaches for model adaptation either update all model parameters or leverage linear probes. In this paper, we aim to study parameter-efficient model adaptation strategies for vision transformers on the image classification task. We formulate efficient model adaptation as a subspace training problem and perform a comprehensive benchmarking over different efficient adaptation methods. We conduct an empirical study on each efficient model adaptation method focusing on its performance alongside parameter cost. Furthermore, we propose a parameter-efficient model adaptation framework, which first selects submodules by measuring local intrinsic dimensions and then projects them into subspace for further decomposition via a novel Kronecker Adaptation (KAdaptation) method. We analyze and compare our method with a diverse set of baseline model adaptation methods (including state-of-the-art methods for pretrained language models). Our method performs the best in terms of the tradeoff between accuracy and parameter efficiency across 20 image classification datasets under the few-shot setting and 7 image classification datasets under the full-shot setting.

研究の動機と目的

• 大規模ビジョントランスフォーマーの完全微調整における高いストレージおよび計算コストを低減すること。
• 線形プローブや既存のパラメータ効率手法との精度と効率のトレードオフを改善すること。
• 画像分類タスクにおけるパラメータ効率的ViT適応の包括的ベンチマークを確立すること。
• 局所的内因次元解析を用いて、適応に最も適したサブモジュールを同定すること。
• 重み更新をクリロネッカー積による分解によって、パラメータ効率を向上させる新規手法KAdaptationを開発すること。

提案手法

• 重み更新の低次元再パラメータ化を活用することで、パラメータ効率的適応を部分空間学習問題として定式化する。
• Fastfood変換を用いてViTモジュールの局所的内因次元を測定し、適応に適した重要なコンponentsを同定する。
• 内因次元が低い（MLPと比較して300 vs. 575）ため、アテンション層にKAdaptationを適用することで、より高い重要性が裏付けられる。
• 共有のスローワイズと低ランクのファストワイズを用いて、重み更新をクリロネッカー積に分解することでパラメータ数を削減する。
• 事前学習済み重みを固定し、クリロネッカー適応更新行列のみを学習することで、推論オーバーヘッドを最小限に抑える。
• パラメータ化されたハイパーコンPLEX乗算を用いて、低ランククリロネッカー成分を効率的に表現・更新する。

実験結果

リサーチクエスチョン

• RQ1 アテンション層とMLPのどちらのViTモジュールが低い内因次元を示し、より効率的な適応に適しているか？
• RQ2 LoRA やアダプタと同様の既存手法と比較して、クリロネッカーに基づく重み更新の分解は、より優れた精度・効率トレードオフを達成できるか？
• RQ3 KAdaptationは、完全微調整や線形プローブと比較して、精度、パラメータ数、メモリ使用量、推論速度の観点でどのように差をつけるか？
• RQ4 本手法は、少サンプルおよびフルショット設定の両方において、多様な画像分類ベンチマークに一般化可能か？
• RQ5 内因次元の測定は、効率的な適応のためのサブモジュール選択を効果的にガイドできるか？

主な発見

• KAdaptationは、20の画像分類データセットにおいて少サンプル設定下で平均79.2%の精度を達成し、LoRA やアダプタを含むすべてのベースラインを上回った。
• KAdaptationは、全モデルパラメータのたった0.09%（LoRAの約45%）しか使用しないため、極めてパラメータ効率的である。
• 完全微調整と比較して、メモリフットプリントを86.0%削減したが、推論速度は通常のViTと同等（1バッチあたり6.93秒）を維持した。
• アテンションモジュールの局所的内因次元（300）はMLPモジュール（575）よりも低く、適応における優先順位付けの根拠となった。
• アブレーションスタディの結果、アテンション層へのKAdaptationはMLP適応や標準アダプタチューニングを上回り、CIFAR10、CIFAR100、SUN397の平均精度は88.1%を達成した。
• KAdaptationは推論遅延が低く抑えられ（1バッチあたり6.93秒）、アダプタベース手法が追加レイヤーのため12.97秒以上を要するのとは対照的であった。