[論文レビュー] DTL: Disentangled Transfer Learning for Visual Recognition

Minghao Fu, Ke Zhu+1 more|arXiv (Cornell University)|Dec 13, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

DTLは、軽量なCompact Side Network（CSN）を用いてトレーニング可能なパラメータを固定されたバックボーンから分離することで、GPUメモリ使用量とトレーニング可能なパラメータを著しく削減しながら、視覚ベンチマークで最先端の精度を達成する、分離型転移学習フレームワークを提案する。タスク固有の知識を低ランク線形マッピングと選択的特徴補正を介して注入することで、従来のPETL手法を凌駕する効率性と性能を実現する。

ABSTRACT

When pre-trained models become rapidly larger, the cost of fine-tuning on downstream tasks steadily increases, too. To economically fine-tune these models, parameter-efficient transfer learning (PETL) is proposed, which only tunes a tiny subset of trainable parameters to efficiently learn quality representations. However, current PETL methods are facing the dilemma that during training the GPU memory footprint is not effectively reduced as trainable parameters. PETL will likely fail, too, if the full fine-tuning encounters the out-of-GPU-memory issue. This phenomenon happens because trainable parameters from these methods are generally entangled with the backbone, such that a lot of intermediate states have to be stored in GPU memory for gradient propagation. To alleviate this problem, we introduce Disentangled Transfer Learning (DTL), which disentangles the trainable parameters from the backbone using a lightweight Compact Side Network (CSN). By progressively extracting task-specific information with a few low-rank linear mappings and appropriately adding the information back to the backbone, CSN effectively realizes knowledge transfer in various downstream tasks. We conducted extensive experiments to validate the effectiveness of our method. The proposed method not only reduces a large amount of GPU memory usage and trainable parameters, but also outperforms existing PETL methods by a significant margin in accuracy, achieving new state-of-the-art on several standard benchmarks. The code is available at https://github.com/heekhero/DTL.

研究の動機と目的

• 既存のパラメータ効率的転移学習（PETL）手法における深刻な限界、すなわちトレーニング可能なパラメータが減少しても依然として高いGPUメモリ使用量が続く問題に対処すること。
• 大規模な事前学習モデルの微調整中にGPUメモリの使用量を削減し、特にメモリ不足（out-of-memory）エラーを回避すること。
• 分離アーキテクチャを用いてトレーニング可能なパラメータをバックボーンから分離することで、大規模モデルの効率的かつ効果的な微調整を可能にすること。
• 多様な視覚ベンチマークにおいて、最小限のトレーニング可能なパラメータと低メモリ消費量で最先端の性能を達成すること。

提案手法

• バックボーンとは並列に、タスク固有の情報を抽出するための低ランク線形射影を備えたコンパクトなサイドネットワーク（CSN）を導入する。
• CSNの出力をバックボーンの特定の後段ブロック（インデックスM以降）に再統合することで、バックボーン重みの更新なしに特徴を適応させる。
• バックボーンは固定されたまま、CSNの重みと分類ヘッドのみを微調整する分離設計を採用し、バックボーン活性の勾配キャッシュを排除する。
• DTL+では、Swish活性化関数とグローバルな深度可分畳み込み（DWConv）を採用し、特徴表現と空間モデリングを強化する。
• 早期のバックボーンブロックを固定することで、複数タスクにわたる特徴再利用を可能にし、効率的なマルチタスク推論を実現する。
• 低ランクパrameterizationを適用することで、トレーニング可能なパラメータを最小限に抑えつつ、高い表現能力を維持する。

実験結果

リサーチクエスチョン

• RQ1 バックボーンからトレーニング可能なパラメータを分離することで、微調整時のGPUメモリ使用量を著しく削減できるか？
• RQ2 軽量で並列的なサイドネットが、最小限のパラメータ更新で効果的な知識転送を可能にするか？
• RQ3 分離型アーキテクチャにおけるインジェクションポイント（M）の選択が、精度とメモリ効率にどのように影響するか？
• RQ4 提案手法が、より少ないパラメータと低メモリ消費量で、従来のPETL手法を上回る精度を達成できるか？
• RQ5 DWConvと活性化関数の追加が、DTL+バリアントの性能にどのように寄与するか？

主な発見

• DTLはGPUメモリ使用量とトレーニング可能なパラメータを著しく削減し、VTAB-1Kで最も少ないパラメータとメモリフットプリントで最高の精度を達成した。
• ImageNet、ImageNet-Sketch、ImageNet-Rの各ベンチマークにおいて、DTL+は前回のSOTA手法NOAHに対して平均で最大8%の精度向上を達成した。
• アブレーションスタディの結果、d′=2のDTL+はVTAB-1Kで平均77.7%の精度を達成し、ベースライン（76.0%）および他のアーキテクチャ変種を上回った。
• 推論スループットは高く維持され、1枚の3090 GPUでDTLはバッチサイズ16で1秒間に892枚の入力を処理し、AdaptFormer や NOAH といったベースラインを上回った。
• 感度分析の結果、精度はインジェクションブロックインデックスMの選択に対して相対的に感度が低く、M=7からM=12の範囲で性能が安定しており、ロバスト性が示された。
• d′=1（極めて低いランク）であっても、DTL+は強力な性能を維持しており、極めて高いパrameter効率性下でも有効性が確認された。