[论文解读] Temperature as Uncertainty in Contrastive Learning

Oliver Zhang, Mike Wu+2 more|arXiv (Cornell University)|Oct 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 42被引用 9

一句话总结

本文提出Temperature as Uncertainty (TaU)，通过将温度超参数重新解释为可学习的嵌入置信度度量，实现对比表示学习中输入相关的不确定性得分。通过使温度随输入变化，TaU在下游任务性能损失最小的前提下实现了分布外（OOD）检测，且可无需微调直接应用于预训练模型。

ABSTRACT

Contrastive learning has demonstrated great capability to learn representations without annotations, even outperforming supervised baselines. However, it still lacks important properties useful for real-world application, one of which is uncertainty. In this paper, we propose a simple way to generate uncertainty scores for many contrastive methods by re-purposing temperature, a mysterious hyperparameter used for scaling. By observing that temperature controls how sensitive the objective is to specific embedding locations, we aim to learn temperature as an input-dependent variable, treating it as a measure of embedding confidence. We call this approach "Temperature as Uncertainty", or TaU. Through experiments, we demonstrate that TaU is useful for out-of-distribution detection, while remaining competitive with benchmarks on linear evaluation. Moreover, we show that TaU can be learned on top of pretrained models, enabling uncertainty scores to be generated post-hoc with popular off-the-shelf models. In summary, TaU is a simple yet versatile method for generating uncertainties for contrastive learning. Open source code can be found at: https://github.com/mhw32/temperature-as-uncertainty-public.

研究动机与目标

• 为解决对比表示学习中缺乏不确定性估计的问题，该问题限制了其在安全关键应用中的实际部署。
• 探究温度超参数——通常被视为固定标量——是否可被重新用作可学习的、输入特定的不确定性度量。
• 实现在不微调模型的前提下实现不确定性估计，支持对现有现成检查点的后处理应用。
• 评估TaU是否能在保持标准下游基准测试竞争力的同时，提升分布外检测性能。

提出的方法

• 将对比学习中的温度超参数τ重新解释为输入相关的变量，通过神经网络头学习输出每个输入x的τ(x)。
• 修改对比损失（如SimCLR或MoCo-v2），使用τ(t(x_i))代替固定τ，其中t(x_i)是输入x_i的增强视图。
• 训练编码器网络以同时输出嵌入f(x)和逆温度τ(x)，其中τ(x)通过Sigmoid缩放的头预测，以确保其正值。
• 将逆温度τ(x)作为不确定性的代理：τ值越高表示不确定性越高（损失更宽容），τ值越低表示置信度越高。
• 通过在冻结特征上微调一个小的适配器头来预测τ(x)，将TaU应用于预训练模型，实现后处理不确定性估计。
• 使用预测的τ(x)计算不确定性感知的相似度得分，并通过基准数据集上的AUROC评估OOD检测性能。

实验结果

研究问题

• RQ1 对比学习中的温度超参数是否可被重新解释为可学习的、输入相关的不确定性度量？
• RQ2 与固定温度基线相比，学习每个输入的温度是否能提升分布外检测性能？
• RQ3 是否可以无需微调主编码器，即可有效将不确定性添加到预训练的对比模型中？
• RQ4 TaU在下游线性评估准确率方面与使用固定温度的标准对比模型相比如何？
• RQ5 TaU在多样化的OOD数据集上是否具有良好泛化能力，尤其是在OOD数据与训练分布语义相距较远时？

主要发现

• TaU在分布外检测上优于基线不确定性方法（包括集成和贝叶斯后验），尤其在语义距离较远的OOD数据集（如SVHN）上，AUROC领先基线13%。
• 在CIFAR100和TinyImageNet上，TaU的表现与所有基线相当或略优，包括SimCLR + kNN，性能差距为0.5–2%。
• 与标准SimCLR和MoCo-v2相比，TaU在线性评估准确率上仅下降2–3个百分点，表明下游性能损失极小。
• TaU可成功后处理应用于预训练模型（如监督学习、SimCLR、BYOL、CLIP），使用监督或SimCLR特征时在CIFAR10（AUROC 0.913）和SVHN（AUROC 0.978）上均取得高AUROC。
• CLIP嵌入在使用TaU时OOD检测表现较差（AUROC ~0.05），表明存在模型特定限制或分布不匹配问题，尽管其在COCO和LSUN上表现良好。
• 该方法对使用梯度停止机制替代负样本的对比框架（如SimSiam、BYOL）无效，表明其局限性存在于基于NCE的目标函数。