[論文レビュー] Improving Visual Prompt Tuning by Gaussian Neighborhood Minimization for Long-Tailed Visual Recognition

Mengke Li, Ye Liu+4 more|arXiv (Cornell University)|Oct 28, 2024

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、長尾視覚認識における一般化性能の向上を図るための、視覚的プロンプトチューニング（VPT）のための新しい最適化戦略であるガウス近傍最小化プロンプトチューニング（GNM-PT）を提案する。既存手法よりもタイトな上界を提供するガウス的パラメータ近傍における平均損失の最小化により、損失のランドスケープを平坦化し、計算コストを増加させることなく、尾部クラスにおける性能を向上させる。CIFAR100-LT（IR 100）、iNaturalist 2018、Places-LT において、それぞれ90.3%、76.5%、50.1%の最先端の正確度を達成した。

ABSTRACT

Long-tail learning has garnered widespread attention and achieved significant progress in recent times. However, even with pre-trained prior knowledge, models still exhibit weaker generalization performance on tail classes. The promising Sharpness-Aware Minimization (SAM) can effectively improve the generalization capability of models by seeking out flat minima in the loss landscape, which, however, comes at the cost of doubling the computational time. Since the update rule of SAM necessitates two consecutive (non-parallelizable) forward and backpropagation at each step. To address this issue, we propose a novel method called Random SAM prompt tuning (RSAM-PT) to improve the model generalization, requiring only one-step gradient computation at each step. Specifically, we search for the gradient descent direction within a random neighborhood of the parameters during each gradient update. To amplify the impact of tail-class samples and avoid overfitting, we employ the deferred re-weight scheme to increase the significance of tail-class samples. The classification accuracy of long-tailed data can be significantly improved by the proposed RSAM-PT, particularly for tail classes. RSAM-PT achieves the state-of-the-art performance of 90.3\%, 76.5\%, and 50.1\% on benchmark datasets CIFAR100-LT (IF 100), iNaturalist 2018, and Places-LT, respectively. The source code is temporarily available at https://github.com/Keke921/GNM-PT.

研究の動機と目的

• 長尾データセットにおける視覚的プロンプトチューニング（VPT）の尾部クラスにおける一般化性能の低さを是正すること。
• 損失のランドスケープを平坦化することで、特に過小表現されている尾部クラスを含むすべてのクラスにおけるモデルの一般化性能を向上させること。
• 追加の勾配計算を回避しながらも性能を維持する効率的な最適化戦略の開発。
• 長尾学習に特化した、シャープネス・センシティブ・ミニマイゼーション（SAM）の理論的裏付けのある代替手法の提供。
• 高レベルのプロンプト情報とクラストークンを統合することで、ViTベースのモデルにおける分類性能の向上。

提案手法

• モデルパラメータのランダムなガウスノイズ摂動における期待損失を最小化する、新しいガウス的近傍損失（GNM）を導入する。
• 正規分布からのランダムサンプリングを用いて近傍平均を近似し、シャープネス推定のための明示的勾配計算を回避する。
• SAMの最大値ベースの近傍損失を、真の損失分布に対するタイトな上界を提供する平均値ベースの損失に置き換える。
• VPT学習中にGNM損失を適用し、より平坦な最小値への最適化を促進することで、一般化性能を向上させる。
• 学習済みの視覚的プロンプトをクラストークンと統合し、ViTベースのモデルにおける分類表現を強化する。
• 本手法はパラメータ効率的かつ計算コストが低く、標準的なVPTを超えて追加のバックプロパゲーションを必要としない。

実験結果

リサーチクエスチョン

• RQ1 最大値ベースのアプローチ（例：SAM）と比較して、平均値ベースの近傍損失は真の損失分布に対してタイトな上界を提供できるか？
• RQ2 ガウス的パラメータ近傍における期待損失の最小化は、長尾認識におけるより平坦な最小値と一般化性能の向上をもたらすか？
• RQ3 GNM-PTは計算コストを増加させることなく、尾部クラスにおけるVPT性能を向上させることができるか？
• RQ4 精度およびヘッドクラスとテイルクラスの両方における一般化性能の観点から、GNM-PTはSAMや他の最先端手法と比較して優れているか？
• RQ5 プロンプトとクラストークンの統合は、長尾設定における分類性能の向上に有効であるか？

主な発見

• CIFAR100-LT（不均衡比100）において、GNM-PTは90.3%の最先端の正確度を達成し、先行手法を顕著に上回った。
• iNaturalist 2018では、GNM-PTは76.5%のトップ-1正確度を達成し、細分化されたカテゴリを有する長尾ベンチマークにおける強力な一般化性能を示した。
• Places-LTでは、GNM-PTは50.1%の正確度を達成し、極端なクラス不均衡下でも細分化された長尾認識において有効であることを示した。
• 本手法はすべてのクラスにおける一般化性能を向上させ、特に尾部クラスで顕著な向上を示した一方で、計算効率を維持した。
• アブレーションスタディにより、GNM-PTは訓練コストを増加させることなくモデル性能を向上させることを確認し、その効率性とロバスト性を裏付けた。
• 理論的分析により、平均値ベースの近傍損失は最大値ベースの代替手法よりもタイトな上界を提供することが示され、その優れた最適化行動の妥当性が裏付けられた。