[论文解读] Feature Space Singularity for Out-of-Distribution Detection

Haiwen Huang, Zhihan Li+4 more|arXiv (Cornell University)|Nov 30, 2020

Anomaly Detection Techniques and Applications参考文献 42被引用 27

一句话总结

本文提出特征空间奇异点距离（FSSD），一种简单 yet先进的分布外（OoD）检测方法，通过测量样本到神经网络特征空间中一个中心点——特征空间奇异点（FSS）——的距离来识别OoD样本。该方法在多种基准测试中达到最先进性能，在CelebA和MS-1M等大规模数据集上AUROC提升5%，且对数据损坏具有鲁棒性，并可通过集成进一步提升性能。

ABSTRACT

Out-of-Distribution (OoD) detection is important for building safe artificial intelligence systems. However, current OoD detection methods still cannot meet the performance requirements for practical deployment. In this paper, we propose a simple yet effective algorithm based on a novel observation: in a trained neural network, OoD samples with bounded norms well concentrate in the feature space. We call the center of OoD features the Feature Space Singularity (FSS), and denote the distance of a sample feature to FSS as FSSD. Then, OoD samples can be identified by taking a threshold on the FSSD. Our analysis of the phenomenon reveals why our algorithm works. We demonstrate that our algorithm achieves state-of-the-art performance on various OoD detection benchmarks. Besides, FSSD also enjoys robustness to slight corruption in test data and can be further enhanced by ensembling. These make FSSD a promising algorithm to be employed in real world. We release our code at \url{https://github.com/megvii-research/FSSD_OoD_Detection}.

研究动机与目标

• 为解决现实世界AI系统中模型可能遇到未知或损坏输入时对可靠OoD检测的迫切需求。
• 识别训练好的神经网络中一种普遍存在的结构特性：具有有界范数的OoD样本在特征空间中会聚集于某一点。
• 开发一种轻量级、推理时可用的OoD检测方法，避免额外训练或对完整训练集进行复杂距离计算。
• 展示该方法在数据损坏下的鲁棒性以及通过集成实现的可扩展性。

提出的方法

• 该方法在神经网络特征空间中识别一个中心点——称为特征空间奇异点（FSS）——在模型训练后，具有有界范数的OoD样本会向该点聚集。
• 定义FSSD(x) = ||Fθ(x) − F*|| 为样本特征表示到FSS的L2距离，该距离作为OoD检测的得分。
• FSS通过已知OoD数据验证集的OoD特征的质心计算得出，无需额外训练。
• 该方法利用分布内与OoD特征的训练动态，表明FSSD近似于特征在训练过程中的移动轨迹。
• 该方法兼容任何预训练分类器，可在推理阶段以极低计算开销应用。
• 通过集成来自多个网络层或多个网络的FSSD得分，可进一步提升性能，利用特征表示的多样性。

实验结果

研究问题

• RQ1 来自不同分布的OoD数据是否在训练好的神经网络特征空间中始终聚集于单一特征点？
• RQ2 样本特征到该中心点（FSSD）的距离能否作为可靠且可泛化的OoD检测得分？
• RQ3 在数据损坏下，FSSD与现有SOTA方法相比在AUROC和鲁棒性方面表现如何？
• RQ4 通过集成来自不同层或网络的FSSD得分是否能进一步提升检测性能？
• RQ5 何种底层训练动态解释了FSS现象的出现？

主要发现

• FSSD在所有评估的OoD检测基准上均达到最先进性能，在CelebA和MS-1M等大规模数据集上AUROC提升5%。
• 该方法在测试数据损坏（如ImageNet-C）下保持高度鲁棒性，优于基于不确定性和基于密度的基线方法。
• 随着训练集规模增大，FSSD与其他方法的性能差距进一步扩大，表明其具备良好的可扩展性与强泛化能力。
• 通过集成来自多个层或网络的FSSD得分可进一步提升性能，证明该方法与集成技术具有良好的兼容性。
• FSS现象在多种架构（ResNet、ResNeXt、LSTM、LeNet）和数据集（CIFAR10、ImageNet、FashionMNIST、基因组数据）中普遍存在，证实其广泛适用性。
• 理论与实证分析将FSS现象与训练动态及神经网络的非Lipschitz行为相关联，尤其通过梯度内积与训练数据的相似性。