[论文解读] Analysis of Confident-Classifiers for Out-of-distribution Detection

Sachin Vernekar, Ashish Gaurav+5 more|arXiv (Cornell University)|Apr 27, 2019

Adversarial Robustness in Machine Learning参考文献 12被引用 9

一句话总结

本文分析了用于分布外（OOD）检测的自信分类器方法，表明即使通过KL散度正则化使分布外样本的输出熵最大化，使用ReLU的神经网络对远离分布内数据的分布外样本仍会产生任意高的置信度预测。作者提出应训练一个带有显式“拒绝”类别的分类器来处理分布外样本，该方法可获得有界的决策边界，并在结合高质量的边界跟随型分布外样本时，显著提升OOD检测性能。

ABSTRACT

Discriminatively trained neural classifiers can be trusted, only when the input data comes from the training distribution (in-distribution). Therefore, detecting out-of-distribution (OOD) samples is very important to avoid classification errors. In the context of OOD detection for image classification, one of the recent approaches proposes training a classifier called "confident-classifier" by minimizing the standard cross-entropy loss on in-distribution samples and minimizing the KL divergence between the predictive distribution of OOD samples in the low-density regions of in-distribution and the uniform distribution (maximizing the entropy of the outputs). Thus, the samples could be detected as OOD if they have low confidence or high entropy. In this paper, we analyze this setting both theoretically and experimentally. We conclude that the resulting confident-classifier still yields arbitrarily high confidence for OOD samples far away from the in-distribution. We instead suggest training a classifier by adding an explicit "reject" class for OOD samples.

研究动机与目标

• 研究自信分类器在检测分布外（OOD）样本方面的理论与实证局限性。
• 分析在分布内边界附近最大化分布外样本输出熵是否能实现有效的OOD检测。
• 评估在自信分类器训练背景下，通过GAN生成的OOD样本的质量。
• 提出并验证一种使用显式“拒绝”类别的替代方法，以提升OOD检测性能。

提出的方法

• 使用一种置信度损失训练分类器，该损失在分布内数据上最小化交叉熵，并在分布外预测与均匀分布之间最小化KL散度。
• 使用GAN在分布内数据的低密度区域生成分布外样本，旨在沿分布内边界分布。
• 训练一个带有额外“拒绝”类别的多分类器，显式将分布外视为一类。
• 使用最大预测置信度和输出熵作为检测分数，评估OOD检测性能。
• 使用合成的2D数据集可视化决策边界，并比较不同方法的OOD检测性能。
• 通过改变网络架构、激活函数和超参数进行消融研究，以评估方法的鲁棒性。

实验结果

研究问题

• RQ1 即使在熵正则化训练下，自信分类器能否可靠检测远离分布内数据的OOD样本？
• RQ2 基于GAN生成的OOD样本是否能有效覆盖分布内数据的整个低密度边界？
• RQ3 与显式设置“拒绝”类别的分类器相比，自信分类器在OOD检测中的表现如何？
• RQ4 网络架构（如ReLU与Sigmoid）对OOD置信度校准有何影响？
• RQ5 联合训练GAN与分类器（公式1）能否生成足够代表分布内边界的OOD样本？

主要发现

• 使用KL散度正则化训练的自信分类器，对远离分布内数据的分布外样本仍会赋予任意高的置信度，导致其在OOD检测中失效。
• 所提出的显式“拒绝”类别分类器能成功将分布外样本识别为分布外，如图1(b)所示，其决策区域具有有界性。
• 在2D合成数据上的实证结果表明，基于ReLU的自信分类器即使在距离分布内簇较远的位置，仍会对分布外样本产生高置信度预测。
• 与自信分类器联合训练的GAN无法生成覆盖整个分布内边界的多样化分布外样本，导致OOD检测性能欠佳。
• 自信分类器的性能对生成的OOD样本的质量和覆盖范围高度敏感，而这些样本通常不完整且缺乏代表性。
• 当OOD数据远离分布内数据时，尤其在高维设置下，“拒绝”类别分类器在检测OOD样本方面显著优于自信分类器。