[论文解读] Igeood: An Information Geometry Approach to Out-of-Distribution Detection

Eduardo Dadalto Camara Gomes, Florence Alberge+2 more|arXiv (Cornell University)|Mar 15, 2022

Adversarial Robustness in Machine Learning被引用 11

一句话总结

Igeood 提出了一种基于信息几何的新型方法，用于基于预训练深度神经网络特征空间中 Fisher-Rao 距离的分布外（OOD）检测，以度量分布内与分布外样本之间的差异。通过利用网络各层的 logits 和学习到的特征，该方法在无需训练时使用 OOD 数据的情况下，实现了多种架构和数据集上的最先进性能，且在黑盒、灰盒和白盒设置下均保持有效。

ABSTRACT

Reliable out-of-distribution (OOD) detection is fundamental to implementing safer modern machine learning (ML) systems. In this paper, we introduce Igeood, an effective method for detecting OOD samples. Igeood applies to any pre-trained neural network, works under various degrees of access to the ML model, does not require OOD samples or assumptions on the OOD data but can also benefit (if available) from OOD samples. By building on the geodesic (Fisher-Rao) distance between the underlying data distributions, our discriminator can combine confidence scores from the logits outputs and the learned features of a deep neural network. Empirically, we show that Igeood outperforms competing state-of-the-art methods on a variety of network architectures and datasets.

研究动机与目标

• 解决现实世界机器学习系统中因数据分布不可预测地改变而对可靠分布外（OOD）检测的迫切需求。
• 克服现有方法仅依赖置信度分数或潜在表示的局限性，这些方法在分布偏移或模型扰动下可能失效。
• 开发一种统一的、与模型无关的 OOD 检测框架，适用于不同级别的模型访问（黑盒、灰盒、白盒）。
• 利用信息几何——特别是概率分布之间的 Fisher-Rao 距离——构建一种鲁棒且具有几何基础的 OOD 度量。
• 仅使用分布内数据进行训练即可实现有效的 OOD 检测，同时在有 OOD 数据时仍能受益。

提出的方法

• 将 Fisher-Rao 距离定义为建模深度神经网络（DNN）Softmax 输出和特征表示的多变量正态分布流形上的 Riemann 流形度量。
• 在特征空间中计算分布内样本与测试样本的概率密度函数之间的测地线距离，以捕捉内在的几何不匹配。
• 通过统一的 Fisher-Rao 距离度量，结合 logits 和中间层特征，以提升对分布内与分布外样本的判别能力。
• 支持多种访问级别：在黑盒模式下，仅使用 logits；在灰盒模式下，利用梯度对输入进行扰动以增强特征判别能力；在白盒模式下，融合 logits 和低级特征。
• 在灰盒和白盒设置中引入预处理步骤，在输入梯度方向添加微小噪声，以增强对 OOD 样本的敏感性。
• 仅使用分布内数据进行 OOD 检测器的训练，若存在 OOD 样本，可选择性地进行微调。

实验结果

研究问题

• RQ1 信息几何，特别是 Fisher-Rao 距离，是否能提供比传统基于不确定性的方法更具鲁棒性和泛化能力的 OOD 检测度量？
• RQ2 在无需训练时使用 OOD 数据的前提下，所提出的 Igeood 框架在不同模型访问级别（黑盒、灰盒、白盒）下的有效性如何？
• RQ3 通过几何距离结合 logits 和学习到的特征，在多种架构和数据集上，能否显著提升 OOD 检测性能？
• RQ4 与现有方法相比，使用 Fisher-Rao 距离是否能带来更好的泛化能力与对小模型参数变化的鲁棒性？
• RQ5 当训练阶段未提供 OOD 数据时，该方法是否仍能保持高性能，同时在提供 OOD 数据时仍能受益？

主要发现

• Igeood 在多个基准数据集（包括 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet）上，针对多种网络架构（DenseNet、ResNet）实现了最先进性能。
• 在黑盒设置下，Igeood 在基准测试中实现了平均 AUC 77.0 ± 15，优于先前方法；在白盒设置下，结合 logits 和特征时，AUC 达到 92.3 ± 5.9。
• 在 SVHN 数据集上使用 ResNet 时，Igeood 在白盒设置下达到 99.6 ± 0.5 AUC，表明其具备近乎完美的 OOD 检测能力。
• 该方法表现出强鲁棒性：在灰盒设置下，通过基于梯度的预处理，AUC 显著提升（例如，在 DenseNet 上，CIFAR-10 的 AUC 从 91.7 ± 12 提升至 94.0 ± 9.0）。
• 图 7–10 的直方图显示，在所有设置下，分布内与 OOD 分数之间均呈现清晰分离，证实了该方法的判别能力。
• 即使在训练阶段未使用 OOD 数据，Igeood 仍实现了具有竞争力的结果（例如，在 DenseNet 上，CIFAR-10 的 AUC 为 77.0 ± 15），且在使用 OOD 数据进行验证或微调时性能进一步提升。