[论文解读] Hyperparameter-Free Out-of-Distribution Detection Using Softmax of Scaled Cosine Similarity

Engkarat Techapanurak, Suganuma, Masanori+1 more|arXiv (Cornell University)|May 25, 2019

Anomaly Detection Techniques and Applications参考文献 48被引用 13

一句话总结

本文提出了一种无需超参数的分布外（OOD）检测方法，该方法利用特征嵌入与类别原型之间余弦相似度的缩放版本的Softmax。通过用基于余弦相似度的分类器替换神经网络的最后几层，该方法在无需OOD验证数据的情况下实现了最先进的OOD检测性能，在评估超参数鲁棒性的挑战性基准上表现优于先前方法，同时通过单次前向传播保持了计算效率。

ABSTRACT

The ability to detect out-of-distribution (OOD) samples is vital to secure the reliability of deep neural networks in real-world applications. Considering the nature of OOD samples, detection methods should not have hyperparameters that need to be tuned depending on incoming OOD samples. However, most of the recently proposed methods do not meet this requirement, leading to compromised performance in real-world applications. In this paper, we propose a simple, hyperparameter-free method based on softmax of scaled cosine similarity. It resembles the approach employed by modern metric learning methods, but it differs in details; the differences are essential to achieve high detection performance. We show through experiments that our method outperforms the existing methods on the evaluation test recently proposed by Shafaei et al., which takes the above issue of hyperparameter dependency into account. We also show that it achieves at least comparable performance to other methods on the conventional test, where their hyperparameters are chosen using explicit OOD samples. Furthermore, it is computationally more efficient than most of the previous methods, since it needs only a single forward pass.

研究动机与目标

• 解决现有OOD检测方法中需要在OOD验证数据上调整超参数这一关键局限，该需求在实际部署中不切实际。
• 开发一种方法，在校准过程中无需访问OOD样本的情况下仍能保持高OOD检测性能。
• 通过消除迭代或反向传播密集型操作（如输入扰动）来提升计算效率。
• 证明余弦相似度缩放与归一化的技术差异对于实现高性能OOD检测至关重要，从而将其与标准度量学习方法区分开来。

提出的方法

• 用基于余弦相似度的分类器替换深度神经网络的最后全连接层，该分类器计算最终特征表示与可学习类别原型之间的相似度。
• 使用可学习的温度参数对余弦相似度得分进行缩放，随后应用Softmax操作以生成类别概率。
• 仅使用标准交叉熵损失在分布内数据上训练网络，不引入任何OOD特定损失或数据。
• 将缩放余弦相似度输出的最大Softmax概率用作OOD检测的置信度分数。
• 推理时仅需一次前向传播，相比需要多次前向传播或梯度计算的方法更具计算效率。
• 引入一种特定的缩放机制（温度缩放）和归一化策略，与标准度量学习不同，从而增强OOD判别能力。

实验结果

研究问题

• RQ1 基于深度学习的OOD检测方法是否能在不依赖OOD数据上调整超参数的情况下实现高性能？
• RQ2 所提出的基于缩放余弦相似度的方法在超参数选择的鲁棒性方面，与现有OOD检测方法相比如何？
• RQ3 与标准logits或未归一化的余弦相似度相比，对缩放余弦相似度应用Softmax是否能提升OOD检测性能？
• RQ4 在现实假设下，该方法能否在保持竞争性分布内准确率的同时显著提升OOD检测性能？
• RQ5 该方法在明确评估超参数敏感性的基准（如Shafaei等人提出的基准）上的表现如何？

主要发现

• 所提方法在Shafaei等人提出的基准上优于所有现有OOD检测方法，该基准评估超参数鲁棒性，AUC得分显著领先。
• 在传统OOD检测基准上，该方法性能至少与最先进方法相当，CIFAR-10和CIFAR-100在多种OOD数据集上的AUC得分始终高于97%。
• 在使用Wide ResNet-28-10模型时，CIFAR-10与TinyImageNet（裁剪版）OOD数据的AUC达到99.77%，优于ODIN和马氏距离检测器。
• 该方法对OOD数据集中存在的黑框（如LSUN和TinyImageNet中的情况）不敏感，而其他方法则表现出显著性能下降，表明对数据集伪影具有鲁棒性。
• 该方法保持了高效率，仅需一次前向传播，而ODIN或Leave-out Ensemble等方法则需要带扰动的多次前向传播。
• 消融研究证实，所提方法中特定的缩放与归一化策略至关重要，朴素的余弦相似度或未归一化版本性能显著更差。