[論文レビュー] Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation

Wangbo Zhao, Jiasheng Tang+6 more|arXiv (Cornell University)|Mar 18, 2024

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、パラメータ効率性と推論効率性の両方を向上させる、ビジョントランスフォーマー（ViT）の適応に向けた新規手法であるDynamic Tuning（DyT）を提案する。DyTは、推論中に情報量が少ないトランスフォーマーのトークンを動的にスキップすることで、余分な計算を回避する学習可能なトークンディスpatchャを導入する。同時に、軽量なアダプタとMixture-of-Experts（MoE）アーキテクチャを用いることで、性能を維持する。VTAB-1Kでは、DyTは43.52 GFLOPs（ベースラインの71%〜85%）の計算量で、フルファインチューニングと同等またはそれ以上の精度を達成し、精度を損なわずに顕著な効率性向上を実現した。

ABSTRACT

Existing parameter-efficient fine-tuning (PEFT) methods have achieved significant success on vision transformers (ViTs) adaptation by improving parameter efficiency. However, the exploration of enhancing inference efficiency during adaptation remains underexplored. This limits the broader application of pre-trained ViT models, especially when the model is computationally extensive. In this paper, we propose Dynamic Tuning (DyT), a novel approach to improve both parameter and inference efficiency for ViT adaptation. Specifically, besides using the lightweight adapter modules, we propose a token dispatcher to distinguish informative tokens from less important ones, allowing the latter to dynamically skip the original block, thereby reducing the redundant computation during inference. Additionally, we explore multiple design variants to find the best practice of DyT. Finally, inspired by the mixture-of-experts (MoE) mechanism, we introduce an enhanced adapter to further boost the adaptation performance. We validate DyT across various tasks, including image/video recognition and semantic segmentation. For instance, DyT achieves superior performance compared to existing PEFT methods while evoking only 71% of their FLOPs on the VTAB-1K benchmark.

研究の動機と目的

• ビジョントランスフォーマー（ViTs）の既存のパrameter効率的ファインチューニング（PEFT）手法には、推論時に計算量を削減しないという課題がある一方で、パラメータ効率性は向上しているため、そのギャップを解消すること。
• 特に計算コストの高いモデルにおいて、パラメータ効率性と推論効率性の両方を同時に向上させる包括的なアプローチを構築すること。
• 画像認識、動画行動認識、セマンティックセグメンテーションを含む多様なビジョンタスクにおいて、性能を損なわずに効率的な適応を可能にすること。
• 密度予測タスクと互換性があり、トータルのトークン数を減らさない動的トークンプルーニング機構を検討すること。
• 動的トークンスキップがモデル性能に与える影響を調査し、最適な設計バリアントおよびハイパーパramータを同定すること。

提案手法

• 各ViTブロックに学習可能なトークンディスパッチャを導入し、推論時に各トークンが活性化されるかスキップされるかを、その情報量に基づいて決定する。
• 活性化されたトークンのみが元のトランスフォーマーブロックおよび軽量アダプタを通るが、非活性化されたトークンはアダプタのみで処理されるため、計算量が削減される。
• トークンディスパッチャの微分可能トレーニングを可能にするために、Gumbel-Softmaxの再パrameter化を採用し、エンド・トゥ・エンド最適化を可能にする。
• ボトルネックアダプタにMixture-of-Experts（MoE）機構を組み合わせることで、追加FLOPsをほとんど増加させずに特徴表現を強化する。
• Gumbel-Softmaxの温度パラメータをスケジューリングする戦略を採用し、トレーニングの安定性と性能を向上させる。温度は5から0.1へ段階的に低下させる。
• 異なる活性化率（r）が性能と効率に与える影響を評価するため、4つのモデルバリアントを設計する。

実験結果

リサーチクエスチョン

• RQ1 推論時に動的トークンスキップを適用することで、ViTの適応において計算コストを削減しつつ、精度を損なわないか？
• RQ2 多様なビジョンベンチマークにおいて、DyTの精度とFLOPsの両面で、フルファインチューニングおよび既存のPEFT手法と比較して、性能に優れているか？
• RQ3 効率性と性能のバランスを最適化するための、トークンディスパッチャの最適な活性化率と温度設定は何か？
• RQ4 提案された動的チューニング機構は、認識、動画理解、密度予測を含むさまざまなビジョンタスクに一般化可能か？
• RQ5 同じパラメータ制約およびFLOP制約下で、MoEベースのアダプタは標準アダプタと比較して、性能をどのように向上させるか？

主な発見

• VTAB-1Kベンチマークでは、DyTは43.52 GFLOPsの計算量で平均77.0%の精度を達成し、フルファインチューニング（75.7%）を上回り、FLOPsを29.8%削減した。
• VTAB-1KにおけるViT-B/16では、DyTは既存のPEFT手法と同等またはそれ以上の性能を示しつつ、それらの71%〜85%のFLOPsで動作した。
• K400動画行動認識ベンチマークでは、DyTはベースライン手法と比較して37 GFLOPsのFLOPs削減を達成し、一般化性能が向上した。
• ADE20Kセマンティックセグメンテーションベンチマークでは、DyTはフルファインチューニングを上回り、21 GFLOPのFLOPs削減を実現した。これは、密度予測タスクにおける強力な性能を示している。
• トークンディスパッチャは、特に深い層においても情報量の多いトークンを適切に活性化することが確認され、顕著な視覚的特徴を同定できる能力を有していることが裏付けられた。
• 温度を5から0.1へ段階的に低下させる戦略により、Food-101およびK400で性能が向上した。これは、適応的温度チューニングがトレーニングダイナミクスを向上させることを示している。