[論文レビュー] C-TPT: Calibrated Test-Time Prompt Tuning for Vision-Language Models via Text Feature Dispersion

Hee Suk Yoon, Eunseop Yoon+4 more|arXiv (Cornell University)|Mar 21, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、ラベルなしデータを必要とせず、平均テキスト特徴分散（ATFD）を最大化することでモデルのキャリブレーションを向上させる、視覚言語モデル向けの新規テスト時プロンプトチューニング手法C-TPTを提案する。CLIPの内在的特性を活用し、推論時にプロンプトを最適化することで過信を軽減し、複数のデータセットおよびCLIPアーキテクチャで予測誤差（ECE）を顕著に低減しつつ、精度を維持または向上させる。

ABSTRACT

In deep learning, test-time adaptation has gained attention as a method for model fine-tuning without the need for labeled data. A prime exemplification is the recently proposed test-time prompt tuning for large-scale vision-language models such as CLIP. Unfortunately, these prompts have been mainly developed to improve accuracy, overlooking the importance of calibration, which is a crucial aspect for quantifying prediction uncertainty. However, traditional calibration methods rely on substantial amounts of labeled data, making them impractical for test-time scenarios. To this end, this paper explores calibration during test-time prompt tuning by leveraging the inherent properties of CLIP. Through a series of observations, we find that the prompt choice significantly affects the calibration in CLIP, where the prompts leading to higher text feature dispersion result in better-calibrated predictions. Introducing the Average Text Feature Dispersion (ATFD), we establish its relationship with calibration error and present a novel method, Calibrated Test-time Prompt Tuning (C-TPT), for optimizing prompts during test-time with enhanced calibration. Through extensive experiments on different CLIP architectures and datasets, we show that C-TPT can effectively improve the calibration of test-time prompt tuning without needing labeled data. The code is publicly accessible at https://github.com/hee-suk-yoon/C-TPT.

研究の動機と目的

• CLIPのような視覚言語モデルにおけるテスト時プロンプトチューニングの精度向上にもかかわらず、キャリブレーションの欠如を是正すること。
• テスト時適応中に利用可能な、内在的でデータフリーのモデルキャリブレーション指標を同定すること。
• ラベルなしデータに依存せずにテスト時プロンプトチューニングにおけるキャリブレーションを向上させる手法を開発すること。
• CLIPモデルにおけるテキスト特徴分散とキャリブレーション誤差の間の定量的関係を確立すること。
• 提案手法の一般化可能性と多様な視覚言語ベンチマークおよびCLIPアーキテクチャにおける有効性を実証すること。

提案手法

• 本手法は、CLIPのテキストエンコーダ出力空間におけるクラス埋め込みテキスト特徴の分散を測定することで、モデルキャリブレーションの代理指標として平均テキスト特徴分散（ATFD）を導入する。
• C-TPTは、ラベルにアクセスできない状況下で勾配降下法を用い、ATFDを正則化項として最大化することで、テスト時にプロンプトを最適化しキャリブレーションを向上させる。
• 高いテキスト特徴分散が予測誤差（ECE）の低減と相関することに着目し、データフリーなキャリブレーションを可能にする。
• 本手法は推論時に適用され、入力画像ごとにプロンプトを適応させることで、同時に精度とキャリブレーションを改善する。
• C-TPTは、複数のCLIPバージョン（ViT-B/16, RN50）およびデータセット（ImageNet, ImageNet-A, ImageNet-V2 など）で検証され、キャリブレーション向上が一貫して得られている。
• 本手法は、訓練時プロンプトチューニング（例：CoOp）に対しても拡張可能であり、C-TPTが正則化子として機能することでECEが改善され、広範な適用可能性が示された。

実験結果

リサーチクエスチョン

• RQ1 テスト時プロンプトチューニングを、ラベルなしデータを用いずにキャリブレーションを向上させることで改善可能か？
• RQ2 CLIPの内在的でデータフリーな性質のうち、キャリブレーション性能と相関するものは存在するか？
• RQ3 CLIP埋め込み空間におけるテキスト特徴の分散を増加させることで、よりキャリブレートされた予測が得られるか？
• RQ4 提案手法は、異なるデータセットおよびCLIPアーキテクチャに一般化可能か？
• RQ5 C-TPTは、訓練時プロンプトチューニングに応用可能であり、正則化子として機能するか？

主な発見

• C-TPTは、ImageNet-A や ImageNet-V2 を含む複数のデータセットで、平均して予測誤差（ECE）を最大50％まで低減したが、ラベルなしデータを一切使用しなかった。
• ImageNet-A において、C-TPTをCoOpに適用した場合、ECEは3.00から1.48に低下し、訓練時チューニングにおける正則化子としての有効性が示された。
• CaltechではECEが1.48、Carsでは1.79を記録し、ベースラインのCoOpに比べてキャリブレーション性能が顕著に優れていたが、精度は競争力を持って維持された。
• ImageNetと他のデータセットにおけるATFD順位の間には強い負の相関（Spearman ρ = 0.92）が観察され、あるデータセットで高い分散を示すことは他のデータセットへの一般化を示唆した。
• ImageNet-Sketch や EuroSAT といった分布シフトが生じる挑戦的データセットに対しても、C-TPTはECEを最大40％まで低減し、全評価データセットでキャリブレーションが向上した。
• 性能の低下を伴わずに精度を維持またはわずかに向上させながら、過信を顕著に低減したため、より良いキャリブレーションが性能の犠牲なく達成可能であることが確認された。