[论文解读] A Simple Framework for Uncertainty in Contrastive Learning

Mike Wu, Noah D. Goodman|arXiv (Cornell University)|Oct 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用 4

一句话总结

本文提出了一种简单框架——深度不确定性模型（DUM），通过训练深度神经网络将嵌入映射到概率分布，从而在预训练对比表示上学习不确定性估计，实现不确定性感知的表示学习。DUM在异常检测任务中达到最先进性能（绝对提升最高达14%），并在无标签的分布外检测中表现优异。

ABSTRACT

Contrastive approaches to representation learning have recently shown great promise. In contrast to generative approaches, these contrastive models learn a deterministic encoder with no notion of uncertainty or confidence. In this paper, we introduce a simple approach based on "contrasting distributions" that learns to assign uncertainty for pretrained contrastive representations. In particular, we train a deep network from a representation to a distribution in representation space, whose variance can be used as a measure of confidence. In our experiments, we show that this deep uncertainty model can be used (1) to visually interpret model behavior, (2) to detect new noise in the input to deployed models, (3) to detect anomalies, where we outperform 10 baseline methods across 11 tasks with improvements of up to 14% absolute, and (4) to classify out-of-distribution examples where our fully unsupervised model is competitive with supervised methods.

研究动机与目标

• 解决确定性对比表示学习模型中缺乏不确定性估计的问题。
• 通过不确定性感知表示实现可解释的模型行为分析。
• 在不重新训练的情况下检测部署模型中的新型视觉噪声和异常。
• 实现与监督方法相当的无监督分布外检测。
• 提供与现有对比模型（如SimCLR）兼容的即插即用解决方案。

提出的方法

• 训练一个深度神经网络，从预训练的对比嵌入中预测多变量高斯分布（均值和方差）。
• 使用对比目标，促使模型在表示空间中区分真实数据分布与替代分布。
• 使用一种对比损失优化不确定性模型，将真实嵌入分布视为正样本，将扰动或负样本分布视为负样本。
• 将预测的方差用作异常检测和OOD检测等下游任务的置信度分数。
• 在不微调编码器的前提下将该框架应用于预训练表示，实现即插即用的不确定性估计。
• 利用DUM的方差作为表示难度的代理指标，实现模型置信度的可视化可解释性。

实验结果

研究问题

• RQ1 能否在预训练的对比表示上有效训练一个简单且可学习的不确定性头以估计置信度？
• RQ2 不确定性估计能否提升对部署模型中新型视觉噪声的检测能力？
• RQ3 基于不确定性的异常检测方法能否在多样化基准上超越现有最先进方法？
• RQ4 无监督不确定性模型能否实现与监督OOD检测方法相当的性能？
• RQ5 不确定性与表示质量及模型难度之间存在何种关联？

主要发现

• 与10种基线方法相比，DUM框架在11项基准任务的异常检测中实现了最高达14%的绝对性能提升。
• 该模型能够高精度检测图像中的新型视觉噪声，展示了在真实部署中对分布偏移的鲁棒性。
• 基于DUM的不确定性度量实现了有效的可视化可解释性，高方差嵌入对应于模糊或难以嵌入的样本。
• 尽管完全无监督，DUM在标准基准上仍优于多项监督OOD检测方法。
• DUM预测的方差与表示难度强相关，提供了有意义的置信度度量。
• 该方法与现有对比学习框架（如SimCLR）兼容，且无需修改预训练编码器。