[論文レビュー] Hierarchical Side-Tuning for Vision Transformers

Weifeng Lin, Ziheng Wu+4 more|arXiv (Cornell University)|Oct 9, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、中間バックボーン活性化からマルチスケール特徴量を生成する軽量で学習可能な階層的サイドネットワーク（HSN）を用いる、ビジョントランスフォーマー向けのパラメータ効率の良い転移学習手法である階層的サイドチューニング（HST）を提案する。HSTはたった0.78Mの学習可能なパラメータで、VTAB-1k（76.0% Top-1精度）でフルファインチューニングを上回り、オブジェクト検出およびセグメンテーションのCOCOにおいても既存のPETL手法を上回る最先端の性能を達成する。

ABSTRACT

Fine-tuning pre-trained Vision Transformers (ViTs) has showcased significant promise in enhancing visual recognition tasks. Yet, the demand for individualized and comprehensive fine-tuning processes for each task entails substantial computational and memory costs, posing a considerable challenge. Recent advancements in Parameter-Efficient Transfer Learning (PETL) have shown potential for achieving high performance with fewer parameter updates compared to full fine-tuning. However, their effectiveness is primarily observed in simple tasks like image classification, while they encounter challenges with more complex vision tasks like dense prediction. To address this gap, this study aims to identify an effective tuning method that caters to a wider range of visual tasks. In this paper, we introduce Hierarchical Side-Tuning (HST), an innovative PETL method facilitating the transfer of ViT models to diverse downstream tasks. Diverging from existing methods that focus solely on fine-tuning parameters within specific input spaces or modules, HST employs a lightweight Hierarchical Side Network (HSN). This network leverages intermediate activations from the ViT backbone to model multi-scale features, enhancing prediction capabilities. To evaluate HST, we conducted comprehensive experiments across a range of visual tasks, including classification, object detection, instance segmentation, and semantic segmentation. Remarkably, HST achieved state-of-the-art performance in 13 out of the 19 tasks on the VTAB-1K benchmark, with the highest average Top-1 accuracy of 76.1%, while fine-tuning a mere 0.78M parameters. When applied to object detection and semantic segmentation tasks on the COCO and ADE20K testdev benchmarks, HST outperformed existing PETL methods and even surpassed full fine-tuning.

研究の動機と目的

• 多様な下流タスク向けに大規模ビジョントランスフォーマーをファインチューニングする際の高い計算コストとメモリ使用量を低減すること。
• オブジェクト検出やセグメンテーションなどの密度予測タスクにおいて、パラメータ効率の良い転移学習（PETL）とフルファインチューニングの性能格差を埋めること。
• バックボーンからの中間特徴量を活用することで、一般化性能を向上させる柔軟でパラメータ効率の良いフレームワークを設計すること。
• 最小限の学習可能なパラメータで高い性能を達成するとともに、推論のオーバーヘッドを低く保つこと。

提案手法

• 事前学習済みViTバックボーンの学習可能なパラメータを分離するための階層的サイドネットワーク（HSN）を導入し、効率的な適応を可能にする。
• 入力埋め込みに学習可能なプロンプトを組み込むためにメタトークン（MetaT）を採用し、特徴表現学習を強化する。
• バックボーンからの中間活性化を効果的にHSNに統合できるよう、前処理とアライメントを実行するためのアダプティブフィーチャーブリッジ（AFB）を設計する。
• 異なるレベルの特徴量を統合するため、クロスアテンションとフィードフォワードネットワーク（FFN）モジュールを組み合わせた新しいサイドブロックをHSNに導入する。
• HSN内の複数段階にわたり中間特徴量を注入するためのフィンガーチェーンドインジェクションを採用し、特徴量の精錬を向上させる。
• 線形重み共有とグローバルトークンプーリングを活用することで、効率性とグローバルコンテキスト統合を向上させる。

Figure 1: Previous paradigm vs. our paradigm, including Adapters, Prompt Tuning, LoRA and our Hierarchical Side-Tuning (HST).

実験結果

リサーチクエスチョン

• RQ1 密度予測タスク（オブジェクト検出やセグメンテーションなど）において、パラメータ効率の良い手法がフルファインチューニングと同等の性能を達成できるか。
• RQ2 サイドネットワークの階層的構造が、ビジョントランスフォーマーにおけるマルチスケール特徴量学習をどのように向上させるか。
• RQ3 パフォーマンスと効率のバランスを最適化するためのメタトークンとインジェクションメカニズムの最適な設定は何か。
• RQ4 学習可能なパラメータをサイドネットワークに分離することで、計算コストを削減しつつ精度を損なわないか。

主な発見

• HSTはVTAB-1kで平均Top-1精度76.0%を達成し、フルファインチューニング（65.6%）を上回り、学習可能なパラメータはたった0.78Mにとどまる。
• COCO testdevベンチマークでは、Cascade Mask R-CNNを用いて49.7のボックスAPと43.2のマスクAPを達成し、フルファインチューニングを上回る。
• アブレーションスタディの結果、フィンガーチェーンドインジェクション機構が最大の貢献を示し、ベースライン比でAPbが5.5、APMが5.0向上した。
• 分類タスクでは1つのメタトークンが複数のトークンよりも優れた性能を示したが、密度予測タスクでは最大8つのトークンが最適であった。
• 線形重み共有とグローバルトークンプーリングを備えたHSNは、効率性とパフォーマンスを向上させ、複数の密度層の必要性を低減した。
• t-SNEとGrad-CAMの可視化により、他のPETL手法と比較してHSTがより判別力があり局所化された特徴量を学習していることが確認された。

Figure 2: Overall architecture of HST. The Blue Section represents the plain ViT, with its weights kept frozen. The Green Section is referred to as the Adaptive Feature Bridge (AFB), which serves the crucial role of bridging and preprocessing intermediate activations derived from the ViT. The Pink S