[論文レビュー] Towards a Unified View on Visual Parameter-Efficient Transfer Learning

Bruce X. B. Yu, Jianlong Chang+3 more|arXiv (Cornell University)|Oct 3, 2022

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

本稿では、視覚的パrameter効率的転移学習のための統合フレームワークであるV-PETLを提案する。この手法は、パrameter-精度トレードオフを改善するため、新しいプレフィックスチューニングの変種である並列アテンション（PATT）を導入している。視覚変換器にPATTを統合することで、完全微調整よりも顕著に少ない可学習パラメータで最先端の性能を達成し、Something-Something V2 や HMDB51 といったデータセットにおいて AdaptFormer-Swin や完全微調整を上回っている。

ABSTRACT

Parameter efficient transfer learning (PETL) aims at making good use of the representation knowledge in the pre-trained large models by fine-tuning a small number of parameters. Recently, taking inspiration from the natural language processing (NLP) domain, popular PETL techniques such as prompt-tuning and Adapter have also been successfully applied to the vision domain. However, prefix-tuning remains under-explored for vision tasks. In this work, we intend to adapt large vision models (LVMs) to downstream tasks with a good parameter-accuracy trade-off. Towards this goal, we propose a framework with a unified view of PETL called visual-PETL (V-PETL) to investigate the effects of different PETL techniques, data scales of downstream domains, positions of trainable parameters, and other aspects affecting the trade-off. Specifically, we analyze the positional importance of trainable parameters and differences between NLP and vision tasks in terms of data structures and pre-training mechanisms while implementing various PETL techniques, especially for the under-explored prefix-tuning technique. Based on a comprehensive understanding of the differences between NLP and vision data, we propose a new variation of the prefix-tuning module called parallel attention (PATT) for vision downstream tasks. An extensive empirical analysis on vision tasks via different frozen LVMs has been carried and the findings show that the proposed PATT can effectively contribute to other PETL techniques. An effective scheme Swin-BAPAT derived from the proposed V-PETL framework achieves significantly better performance than the state-of-the-art AdaptFormer-Swin with slightly more parameters and outperforms full-tuning with far fewer parameters. Code and data are available at: https://github.com/bruceyo/V-PETL.

研究の動機と目的

• 大規模視覚モデル（LVMs）を下流タスクに微調整する際の高い計算コストとストレージコストの課題に対処すること。
• 視覚分野におけるパラメータ効率的転移学習（PETL）技術、特に未だ十分に検討されていないプレフィックスチューニングの探求。
• 視覚分野におけるPETL技術、データスケール、およびパラメータ位置の影響を分析するための統合フレームワークの確立。
• 新規のPATTモジュールを用いて、視覚的転移学習におけるパラメータ-精度トレードオフの改善。
• PATTの有効性を複数のLVMおよび下流視覚タスクにおいて検証すること。

提案手法

• 視覚分野におけるPETL技術（プロンプトチューニング、アダプタ、プレフィックスチューニングなど）を体系的に研究できる統合的V-PETLフレームワークを提案。
• 自己注意機構におけるクエリとキーの投影を分離することで、より良い勾配伝搬とパラメータ効率を実現する、新しいプレフィックスチューニングの変種である並列アテンション（PATT）を導入。
• PATTはマルチヘッドアテンションモジュールの直前に挿入され、本モデルとは並列にタスク固有の表現を学習する。
• 可学習パラメータ数はハイパーパramータdbottleによって制御され、モデル容量の柔軟な調整が可能である。
• 複数の視覚モデル（例：Swin、ViT、VideoMAE）およびデータセット（ImageNet、SSv2、HMDB51）に対して統一されたトレーニングプロトコルを採用し、公平な比較を実現。
• 一般化性とロバスト性の評価のため、教師ありおよび自己教師ありの事前学習モデルの組み合わせを用いる。

実験結果

リサーチクエスチョン

• RQ1 プロンプトチューニング、アダプタ、プレフィックスチューニングなどの異なるPETL技術が、視覚タスクにおける精度とパラメータ効率の観点でどのように比較されるか？
• RQ2 NLPと視覚データとの間の主な相違点は何か？ これにより、視覚分野におけるプレフィックスチューニングの設計と性能にどのような影響を与えるか？
• RQ3 可学習パラメータの配置が、視覚的転移学習におけるパラメータ-精度トレードオフにどのように影響するか？
• RQ4 PATTのような新規なプレフィックスチューニングの変種が、既存のPETL手法を上回ることができるか？
• RQ5 提案手法は、異なるデータスケールおよび事前学習パラダイム（教師あり vs. 自己教師あり）においてどのようにスケーリングするか？

主な発見

• Swin-BAPAT（dbottle=32）は、SSv2でTop-1精度86.55%を達成し、完全微調整（86.04%）を上回り、可学習パラメータはわずか9.68%にとどまる。
• HMDB51では、Swin-BAPAT-32がTop-1精度57.18%を達成し、完全微調整（46.41%）とAdaptFormer-Swin（55.69%）を上回り、顕著に少ないパラメータで実現した。
• ViT-BAPAT-32はCIFAR-100でTop-1精度86.29%を達成し、AdaptFormer-64（85.90%）を上回り、完全微調整（86.04%）と同等の性能を、パラメータはたった2.47%で達成した。
• PATTモジュールは、SwinやViTといった複数の視覚モデルおよび画像・動画のデータセットにおいて一貫した性能向上を実現し、SSv2では完全微調整比で5.05%の向上を達成した。
• 小さなバッチサイズ（例：16）でも強力な性能を維持でき、リソース制限のあるエッジデバイスにおいて実用的である。
• 広範なアブレーション実験により、PATTは勾配伝搬とパラメータ効率を向上させ、特にデータが少ない状況下でその設計選択の有効性が裏付けられた。