[论文解读] A statistical framework for efficient out of distribution detection in deep neural networks

Matan Haroush, Tzviel Frostig+2 more|arXiv (Cornell University)|Feb 25, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种用于深度神经网络中分布外（OOD）检测的统计假设检验框架，利用p值确保第一类错误控制。通过聚合网络所有层的非符合性度量并引入MaSF检测器，该方法在无需微调或事先了解测试分布的情况下，实现了SOTA级别的OOD检测准确率，且推理速度比之前的方法快35倍。

ABSTRACT

Background. Commonly, Deep Neural Networks (DNNs) generalize well on samples drawn from a distribution similar to that of the training set. However, DNNs' predictions are brittle and unreliable when the test samples are drawn from a dissimilar distribution. This is a major concern for deployment in real-world applications, where such behavior may come at a considerable cost, such as industrial production lines, autonomous vehicles, or healthcare applications. Contributions. We frame Out Of Distribution (OOD) detection in DNNs as a statistical hypothesis testing problem. Tests generated within our proposed framework combine evidence from the entire network. Unlike previous OOD detection heuristics, this framework returns a $p$-value for each test sample. It is guaranteed to maintain the Type I Error (T1E - incorrectly predicting OOD for an actual in-distribution sample) for test data. Moreover, this allows to combine several detectors while maintaining the T1E. Building on this framework, we suggest a novel OOD procedure based on low-order statistics. Our method achieves comparable or better results than state-of-the-art methods on well-accepted OOD benchmarks, without retraining the network parameters or assuming prior knowledge on the test distribution -- and at a fraction of the computational cost.

研究动机与目标

• 为解决DNN在分布外（OOD）输入下的脆弱性问题，该问题在自动驾驶和医疗等安全关键应用中构成风险。
• 克服现有OOD检测方法的局限性，包括缺乏统计保证、计算成本高以及依赖OOD数据的先验知识。
• 开发一个为每个测试样本提供有效p值的框架，确保在原假设（即样本来自分布内数据）下第一类错误得到控制。
• 设计一种高效、无需超参数的OOD检测方法，利用低阶统计量，并在多种基准上保持高准确率。
• 支持在计算资源受限的条件下，通过组合多个检测器同时保持错误控制，以支持实际部署。

提出的方法

• 将OOD检测正式定义为一个统计假设检验问题，检验两个原假设：(1) 该样本来自任意训练类别分布，(2) 该样本来自预测类别分布。
• 在DNN的所有层上构建有效的非符合性度量，通过归一化和聚合形成全局检验统计量。
• 使用Simes和Fisher组合方法合并来自多层的p值，提升检测能力的同时保持第一类错误控制。
• 提出MaSF（Max-Simes-Fisher）检测器，基于低阶统计量（如层间p值的最大值和均值），最大限度降低计算开销。
• 采用非参数、符合性推理方法，无需微调或修改预训练的DNN。
• 应用结构化稀疏性和特征采样技术，进一步降低推理成本，支持实时部署。

实验结果

研究问题

• RQ1 能否将DNN中的OOD检测严格建模为一个具有有效p值的统计假设检验问题？
• RQ2 与单层方法相比，多层非符合性度量的聚合是否能显著提升OOD检测性能？
• RQ3 基于低阶统计量的检测器能否在将计算成本降低数个数量级的同时实现SOTA性能？
• RQ4 能否在统一框架内组合多个OOD检测器，同时保持第一类错误控制？
• RQ5 是否可能在不依赖OOD分布先验知识或网络微调的情况下，仍保持高检测准确率？

主要发现

• 所提出的框架确保了OOD检测中的第一类错误控制，确保分布内样本不会被错误地标记为OOD。
• 与单层检测器相比，多层非符合性度量聚合使检测准确率平均提升50%。
• MaSF检测器在标准基准（如Lee等人（2018）的基准）上的OOD检测性能与SOTA方法相当或更优。
• MaSF的推理速度比现有方法快35倍，使其在实时和资源受限的应用中极具适用性。
• 该框架支持组合多个专用检测器而不会增加第一类错误，支持对多样化OOD模式的自适应检测。
• 该方法无需微调、无需OOD数据的先验知识，也无需对DNN架构进行修改即可有效运行。