[論文レビュー] Not All Features Matter: Enhancing Few-shot CLIP with Adaptive Prior Refinement

Xiangyang Zhu, Renrui Zhang+5 more|arXiv (Cornell University)|Apr 3, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本論文では、クラス間の乖離度と分散基準に基づき、最も情報量の多い視覚特徴チャネルを効率的に精錬することで、少数ショット分類のためのCLIPを向上させるAPE（Adaptive Prior Refinement）を提案する。この手法は、先行手法と比較して30倍少ない可学習パラメータで最先端の精度を達成し、トレーニングフリーのバージョンと軽量のファインチューニング版（APE-T）の両方を提供する。

ABSTRACT

The popularity of Contrastive Language-Image Pre-training (CLIP) has propelled its application to diverse downstream vision tasks. To improve its capacity on downstream tasks, few-shot learning has become a widely-adopted technique. However, existing methods either exhibit limited performance or suffer from excessive learnable parameters. In this paper, we propose APE, an Adaptive Prior rEfinement method for CLIP's pre-trained knowledge, which achieves superior accuracy with high computational efficiency. Via a prior refinement module, we analyze the inter-class disparity in the downstream data and decouple the domain-specific knowledge from the CLIP-extracted cache model. On top of that, we introduce two model variants, a training-free APE and a training-required APE-T. We explore the trilateral affinities between the test image, prior cache model, and textual representations, and only enable a lightweight category-residual module to be trained. For the average accuracy over 11 benchmarks, both APE and APE-T attain state-of-the-art and respectively outperform the second-best by +1.59% and +1.99% under 16 shots with x30 less learnable parameters.

研究の動機と目的

• 事前学習済みのCLIP知識を無視するか、大規模でパラメータの多いキャッシュモデルに依存する既存の少数ショットCLIP手法の非効率性と性能限界を是正すること。
• 最も識別的な特徴チャネルのみを保持するように、CLIPの視覚表現を効果的に精錬することで、少数ショット分類の精度を向上させること。
• CLIPの事前学習済みのプライオリティ知識を活用しつつ、軽量で適応的な精錬メカニズムを用いることで、高い計算効率を維持すること。
• 高速な推論を可能にするトレーニングフリーのAPEと、軽量なカテゴリーレジidュアルのみをファインチューニングするAPE-Tという2つのバージョンを開発すること。
• 先行手法と比較して顕著に少ないパラメータ数で、11の少数ショットベンチマークで最先端の性能を達成すること。

提案手法

• クラス間類似度と分散に基づき、顕著な特徴チャネルを選択するプライオリティ精錬モジュールを提案し、CLIPの視覚特徴における冗長性を低減する。
• テスト画像、精錬済みのプライオリティキャッシュ、およびテキスト表現の間で三重の類似度モデリングを導入し、推論段階でのロバスト性を向上させる。
• キャッシュモデルの完全なファインチューニングを回避するため、精錬済みの特徴のみで学習される軽量なカテゴリーレジダアルモジュールを採用する。
• 精錬段階でクラス間乖離度と特徴安定性のトレードオフを制御するため、バランス要因λとスムージング要因γを用いる。
• ResNet-50ベースのCLIPの1024チャネルから、動的に最も識別的な512チャネルを特定・保持するチャネルワイズ選択メカニズムを適用する。
• GPT-3およびCuPLから得られるプロンプトテンプレートを活用し、特徴精錬段階でのビジュアル・ランゲージアライメントを向上させる多様なテキスト記述を生成する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのCLIP特徴から、最も情報量の多い視覚特徴チャネルを効率的に精錬することで、少数ショットCLIPの性能を向上させられるか？
• RQ2 クラス間乖離度と分散に基づく適応的チャネル選択は、下流の少数ショット分類精度にどのような影響を与えるか？
• RQ3 精錬済みのプライオリティ知識を活用するトレーニングフリーの推論機構は、最小限のパラメータオーバーヘッドで既存手法を上回れるか？
• RQ4 精錬済みの特徴上に、軽量なカテゴリーレジダアルのみをファインチューニングすることで、完全なキャッシュファインチューニングに比べて精度がどの程度向上するか？
• RQ5 本手法は、データ分布や視覚的複雑さが異なる多様な少数ショットベンチマークに、どの程度一般化可能か？

主な発見

• APEは11のベンチマークで平均16ショット精度において最先端を記録し、2番目に優れた手法を+1.59%上回った。
• APE-Tは同じ16ショット設定下で2番目に優れた手法を+1.99%上回り、パラメータ数を大幅に削減したにもかかわらず優れた性能を示した。
• 先行手法に比べ、可学習パラメータを30倍削減し、計算効率を著しく向上させた。
• アブレーションスタディの結果、バランス要因λとスムージング要因γが性能に顕著な影響を与え、最適値はλ=0.6およびγ=0.15であることが判明した。
• トレーニングフリーのAPEバージョンは、いかなるファインチューニングも行わずして優れた性能を発揮し、三重類似度モデリングの有効性を裏付けた。
• 本手法は、多様なバックボーン（ResNet-50、ResNet-101、ViT-B/16、ViT-B/32）にわたって良好に一般化され、すべてのアーキテクチャで一貫した向上を示した。