[论文解读] Building robust classifiers through generation of confident out of distribution examples

Kumar Sricharan, Ashok N. Srivastava|arXiv (Cornell University)|Dec 1, 2018

Adversarial Robustness in Machine Learning参考文献 9被引用 13

一句话总结

本文提出ConfGAN，一种基于生成对抗网络（GAN）的新方法，可生成分类器高度自信（熵值低）的分布外（OOD）样本，随后在这些样本上训练分类器以最大化其不确定性（高熵）。通过显式针对高自信OOD样本，ConfGAN在各类数据集上实现SOTA级别的OOD检测性能，相较于BoundaryGAN，AUROC最高提升达12%。

ABSTRACT

Deep learning models are known to be overconfident in their predictions on out of distribution inputs. There have been several pieces of work to address this issue, including a number of approaches for building Bayesian neural networks, as well as closely related work on detection of out of distribution samples. Recently, there has been work on building classifiers that are robust to out of distribution samples by adding a regularization term that maximizes the entropy of the classifier output on out of distribution data. To approximate out of distribution samples (which are not known apriori), a GAN was used for generation of samples at the edges of the training distribution. In this paper, we introduce an alternative GAN based approach for building a robust classifier, where the idea is to use the GAN to explicitly generate out of distribution samples that the classifier is confident on (low entropy), and have the classifier maximize the entropy for these samples. We showcase the effectiveness of our approach relative to state-of-the-art on hand-written characters as well as on a variety of natural image datasets.

研究动机与目标

• 解决深度神经网络在分布外（OOD）输入上过度自信的问题。
• 通过在训练过程中显式建模高自信OOD样本，提升分类器对OOD样本的鲁棒性。
• 开发一种基于GAN的方法，生成分类器过度自信的OOD样本，实现针对性的不确定性正则化。
• 超越现有方法（如BoundaryGAN），后者生成的是靠近训练数据分布边界的样本。
• 在手写字符和自然图像数据集上验证方法的有效性。

提出的方法

• ConfGAN使用GAN生成远离训练数据分布但分类器输出熵值低（高度自信）的OOD样本。
• 生成器通过反向KL散度损失进行训练，以使分类器输出远离均匀分布，从而提升其置信度。
• 整体训练目标结合了在分布内数据上的标准交叉熵损失，以及在GAN生成的OOD样本上最大化分类器输出熵值的正则化项。
• 判别器损失确保生成样本真实且与分布内数据有明显区别；同时，生成器被优化以生成能欺骗分类器、使其过度自信的样本。
• 分类器在分布内数据上最小化交叉熵损失，同时在生成的OOD样本上最大化熵值，使用前向KL散度以获得更强的梯度信号。
• 该方法通过迭代优化生成器，逐步生成更具挑战性、高自信的OOD样本，从而提升分类器对未见OOD输入的泛化能力。

实验结果

研究问题

• RQ1 生成分类器高度自信的分布外样本，是否能提升OOD检测的鲁棒性？
• RQ2 与靠近训练分布边界的边界样本相比，针对高自信OOD样本是否能改善分类器的不确定性校准？
• RQ3 在多种数据集上，ConfGAN与BoundaryGAN在OOD检测性能上的表现如何？
• RQ4 所提方法是否能在不访问真实OOD数据的情况下，实现接近Oracle的OOD检测性能？
• RQ5 为生成器设计的反向KL训练目标是否能有效生成高自信OOD样本，从而提升分类器的不确定性？

主要发现

• ConfGAN在OOD检测上显著优于BoundaryGAN，在CIFAR、SVHN、ImageNet和LSUN数据集上平均AUROC提升约12%。
• 在EMNIST与FashionMNIST基准上，ConfGAN的检测性能接近使用FashionMNIST作为OOD数据训练的Oracle分类器。
• ConfGAN的生成器产生不完整、抽象的字符部件，明显不属于训练分布，表明成功生成了高自信OOD样本。
• BoundaryGAN生成的样本是靠近训练分布边缘的逼真字符，而ConfGAN生成的样本更具多样性、非语言性，且分类器置信度高。
• ConfGAN在包括自然图像和手写字符在内的多个数据集上均保持一致的性能提升，展现出广泛的适用性。
• 该方法在手写字符和自然图像OOD检测基准上均达到SOTA结果，验证了其有效性。