[论文解读] iDECODe: In-distribution Equivariance for Conformal Out-of-distribution Detection

Ramneet Kaur, Susmit Jha+5 more|arXiv (Cornell University)|Jan 7, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

iDECODe 是一种新颖的保形分布外（OOD）检测方法，利用数据变换下的分布内（iD）等变性作为非符合性度量。通过聚合多个随机变换下的预测结果，该方法在图像和音频 OOD 检测基准上实现了最先进（SOTA）的 AUROC 分数，同时保证了有界的误检率。

ABSTRACT

Machine learning methods such as deep neural networks (DNNs), despite their success across different domains, are known to often generate incorrect predictions with high confidence on inputs outside their training distribution. The deployment of DNNs in safety-critical domains requires detection of out-of-distribution (OOD) data so that DNNs can abstain from making predictions on those. A number of methods have been recently developed for OOD detection, but there is still room for improvement. We propose the new method iDECODe, leveraging in-distribution equivariance for conformal OOD detection. It relies on a novel base non-conformity measure and a new aggregation method, used in the inductive conformal anomaly detection framework, thereby guaranteeing a bounded false detection rate. We demonstrate the efficacy of iDECODe by experiments on image and audio datasets, obtaining state-of-the-art results. We also show that iDECODe can detect adversarial examples.

研究动机与目标

• 为解决在安全关键型机器学习部署中检测分布外（OOD）输入这一关键挑战。
• 通过利用几何变换下的学习到的分布内等变性来改进 OOD 检测。
• 通过与归纳保形异常检测（ICAD）框架集成，确保有界的误检率（FDR）。
• 将该方法扩展至对抗样本检测，证明其在不同模型架构下的鲁棒性。

提出的方法

• 提出一种基于变换下预测偏差的新型基础非符合性度量（NCM），量化样本违反 iD 等变性的程度。
• 引入一种聚合方法，从从变换群 G 的分布中独立采样 n 个 i.i.d. 变换，计算 n 个独立的非符合性分数。
• 在 ICAD 框架中使用聚合后的 NCM，计算 p 值以指示异常行为，并保证 FDR 控制。
• 在模型训练期间使用数据增强（如音频的 SpecAugment）来学习 iD 等变性，提升对 OOD 输入的泛化能力。
• 在 VGG 和 AVT 架构上，将该方法应用于图像和音频数据集，并使用保留的 iD 样本进行校准。
• 利用保形预测理论确保统计有效性，其中 p 值被解释为对分布成员身份的置信度。

实验结果

研究问题

• RQ1 在几何变换下，分布内等变性能否作为检测分布外输入的可靠信号？
• RQ2 如何聚合基于多种变换的非符合性分数，以提升检测的鲁棒性与性能？
• RQ3 所提方法能否在保持有界误检率的同时实现最先进水平的 OOD 检测性能？
• RQ4 该方法是否能在不同模型架构下泛化至对抗样本检测？

主要发现

• 在 FSD 音频 OOD 检测基准上，iDECODe 达到 66.21 ± 0.39 的最先进 AUROC 分数，优于先前的 SOTA 方法。
• 在 CIFAR-10 对抗样本检测中，当 |V(x)|=5 时，iDECODe 对 FGSM 攻击的 AUROC 达到 96.6 ± 0.1，对 BIM 攻击为 96.4 ± 0.1，优于无监督基线方法。
• 在所有音频 OOD 数据集上，该方法相较于 ICAD（单次变换）持续提升 2.7–3.4 个 AUROC 点。
• 即使在训练过程中未使用对抗数据，iDECODe 在 CW 和 DF 等复杂攻击上仍保持优异性能。
• 使用多个变换（|V(x)|=20）显著优于单次变换基线方法。
• 该方法在不同架构（ResNet、DenseNet）和攻击类型上均表现出鲁棒性，表明其泛化能力超越特定模型设计。