[论文解读] Detecting Out-of-Distribution Examples with In-distribution Examples and Gram Matrices

Chandramouli Shama Sastry, Sageev Oore|arXiv (Cornell University)|Dec 28, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用 21

一句话总结

本文提出了一种新颖的零样本方法用于分布外（OOD）检测，通过利用中间特征激活的格拉姆矩阵来识别预测类别与异常激活模式之间的不一致。通过将每个格拉姆矩阵值与训练范围内的分布进行比较，该方法在无需使用 OOD 数据进行调优或训练的情况下，实现了在多种架构和数据集上的最先进 OOD 检测性能。

ABSTRACT

When presented with Out-of-Distribution (OOD) examples, deep neural networks yield confident, incorrect predictions. Detecting OOD examples is challenging, and the potential risks are high. In this paper, we propose to detect OOD examples by identifying inconsistencies between activity patterns and class predicted. We find that characterizing activity patterns by Gram matrices and identifying anomalies in gram matrix values can yield high OOD detection rates. We identify anomalies in the gram matrices by simply comparing each value with its respective range observed over the training data. Unlike many approaches, this can be used with any pre-trained softmax classifier and does not require access to OOD data for fine-tuning hyperparameters, nor does it require OOD access for inferring parameters. The method is applicable across a variety of architectures and vision datasets and, for the important and surprisingly hard task of detecting far-from-distribution out-of-distribution examples, it generally performs better than or equal to state-of-the-art OOD detection methods (including those that do assume access to OOD examples).

研究动机与目标

• 为解决深度神经网络中检测分布外（OOD）样本这一关键挑战，即模型对错误预测产生过度自信的问题。
• 开发一种在训练或超参数调优阶段无需访问 OOD 数据即可检测 OOD 输入的方法。
• 通过格拉姆矩阵分析特征相关性模式，提升对远离分布的 OOD 样本的检测性能。
• 创建一种即插即用的解决方案，兼容任意预训练的 Softmax 分类器，从而在多种架构和视觉数据集上具备广泛适用性。

提出的方法

• 将标准格拉姆矩阵扩展，用于计算中间层激活图中 p 阶特征相关性。
• 使用训练过程中观察到的格拉姆矩阵值范围作为异常检测的统计参考。
• 通过检测测试阶段格拉姆矩阵中落在分布内训练范围之外的值来识别 OOD 样本。
• 将最终层的预测类别与异常激活模式相结合，以标记不一致的预测。
• 直接应用于预训练模型，无需微调或重新训练，实现零样本部署。
• 基于训练范围分位数的简单阈值化机制，用于标记异常的格拉姆矩阵条目。

实验结果

研究问题

• RQ1 通过扩展的格拉姆矩阵捕捉的特征相关性模式，是否能在不使用 OOD 数据的情况下有效检测 OOD 输入？
• RQ2 基于格拉姆矩阵的异常检测性能与需要 OOD 数据进行调优的最先进 OOD 检测方法相比如何？
• RQ3 该方法是否能在多种架构（如 ResNet、DenseNet）和数据集（如 CIFAR-10、SVHN、LSUN）上实现泛化？
• RQ4 该方法在具有挑战性的远离分布的 OOD 样本上是否仍保持高性能？
• RQ5 该方法是否能有效应用于全连接网络和非卷积架构？

主要发现

• 该方法在无需使用任何 OOD 数据的情况下，在 CIFAR-10、CIFAR-100、SVHN、TinyImageNet、LSUN 和 iSUN 数据集上实现了最先进或具有竞争力的 AUROC 分数。
• 在使用 ResNet-18 的具有挑战性的 LSUN OOD 数据集上，该方法实现了 TNR@TPR95 为 99.85% 和 AUROC 为 98.66%，优于基于马氏距离的方法。
• 对于 LSUN 和 iSUN 等远离分布的 OOD 样本，该方法始终优于或匹配需要 OOD 数据进行调优的最先进方法。
• 在 KMNIST 上检测准确率达到 97.37%，在 Fashion-MNIST 上达到 96.55%（使用 300 个神经元的 MLP），证明其在全连接网络上的有效性。
• 将该方法与 MSP（最大 Softmax 概率）结合可进一步提升性能，在 ResNet-18 上于 LSUN 数据集上实现 98.66% 的 AUROC。
• 该方法在不同架构上表现稳健：在 iSUN 上使用 ResNet-18 实现 95.18% AUROC，在 TinyImageNet 上使用相同模型实现 97.82% AUROC。