[論文レビュー] Similarity-as-Evidence: Calibrating Overconfident VLMs for Interpretable and Label-Efficient Medical Active Learning

Zhuofan Xie, Zishan Lin+4 more|arXiv (Cornell University)|Feb 21, 2026

COVID-19 diagnosis using AI被引用数 0

ひとこと要約

SaE は VLM のテキスト–画像の類似性を Dirichlet の証拠として再構成し、不確実性をキャリブレーションする。これにより医用画像診断の解釈可能でラベル効率の良いアクティブラーニングを実現し、20% のラベル予算で macro 精度 SOTA（82.57%）、BT MRI を含む10データセットでの較正良好（NLL 0.425）を達成。

ABSTRACT

Active Learning (AL) reduces annotation costs in medical imaging by selecting only the most informative samples for labeling, but suffers from cold-start when labeled data are scarce. Vision-Language Models (VLMs) address the cold-start problem via zero-shot predictions, yet their temperature-scaled softmax outputs treat text-image similarities as deterministic scores while ignoring inherent uncertainty, leading to overconfidence. This overconfidence misleads sample selection, wasting annotation budgets on uninformative cases. To overcome these limitations, the Similarity-as-Evidence (SaE) framework calibrates text-image similarities by introducing a Similarity Evidence Head (SEH), which reinterprets the similarity vector as evidence and parameterizes a Dirichlet distribution over labels. In contrast to a standard softmax that enforces confident predictions even under weak signals, the Dirichlet formulation explicitly quantifies lack of evidence (vacuity) and conflicting evidence (dissonance), thereby mitigating overconfidence caused by rigid softmax normalization. Building on this, SaE employs a dual-factor acquisition strategy: high-vacuity samples (e.g., rare diseases) are prioritized in early rounds to ensure coverage, while high-dissonance samples (e.g., ambiguous diagnoses) are prioritized later to refine boundaries, providing clinically interpretable selection rationales. Experiments on ten public medical imaging datasets with a 20% label budget show that SaE attains state-of-the-art macro-averaged accuracy of 82.57%. On the representative BTMRI dataset, SaE also achieves superior calibration, with a negative log-likelihood (NLL) of 0.425.

研究の動機と目的

• VLM駆動の医用アクティブラーニングにおけるコールドスタートと過信の解消。
• 証拠推論を通じた校正済み・解釈可能な不確実性シグナルの提供。
• サンプル選択のための Vacuity と Dissonance を活用する二因子獲得戦略の開発。
• PubMed 増補プロンプトを活用して医用語彙空間を豊かにする。

提案手法

• Similarity Evidence Head (SEH) を導入し、類似性ベクトルを正の強さ lambda を用いて Dirichlet 証拠へ写像。
• PubMed 増補プロンプトを用いて VLM の類似性計算の意味論的プロトタイプを作成。
• 分類性能と証拠の校正をバランスする二目的損失（式 3）で SEH を訓練。
• alpha_k(x) = lambda * p_k + 1（式 4）を用いて類似性ベースの証拠を Dirichlet パラメータ alpha_k に変換。
• 証拠を Vacuity と Dissonance に分解して獲得を誘導（式 5–6）。
• 高い Vac を早期に、後半に高い Dis を優先する線形スケジュール（式 7–8）を用いた二因子アクティブラーニングスコアを適用。

実験結果

リサーチクエスチョン

• RQ1 frozen VLM からの類似性ベースの証拠を Dirichlet 分布にキャリブレーションして医用 AL の不確実性を反映できるか？
• RQ2 Vacuity と Dissonance は臨床的に意味のある解釈可能なサンプル選択の手掛かりを提供するか？
• RQ3 二因子獲得戦略は医用画像の既存 AL ベースラインと比較してラベル効率を向上させるか？
• RQ4 PubMed 増補プロンプトは AL における医用概念の VLM の意味論的一致を高めるか？

主な発見

• SaE は 10 データセットで 20% のラベリング予算で macro 平均精度 82.57% を達成し、ベースラインを上回る。
• SaE は BT MRI で 20% 予算時に NLL 0.425、ECE 0.021 の優れた較正を示し、不確実性がよく校正されている。
• アブレーションの結果、 SEH が性能にとって重要であり、二因子スコアリングと VLM の類似性が顕著な向上に寄与。
• SaE は早期ラウンドでの収束を迅速に示し、サンプル効率を改善しコールドスタート問題を緩和。
• 実験は多様な臓器とデータセットにおいて Random、PCB、MedCoOp ベース、BiomedCoOp を含む他手法に対して一貫した改善を示す。