[论文解读] A General Framework For Detecting Anomalous Inputs to DNN Classifiers

Jayaram Raghuram, Varun Chandrasekaran+2 more|arXiv (Cornell University)|Jul 29, 2020

Adversarial Robustness in Machine Learning被引用 6

一句话总结

该论文提出JTLA，一种通用的无监督框架，通过在多个内部层表示上进行统计检验，检测深度神经网络分类器中的对抗性输入和分布外（OOD）输入。该框架采用原理严谨、可配置的组件（如p值估计与Fisher方法的聚合），在对抗自适应攻击下表现出卓越的鲁棒性，并在CIFAR-10、SVHN和MNIST数据集上表现强劲，尤其在低误报率条件下优势显著。

ABSTRACT

Detecting anomalous inputs, such as adversarial and out-of-distribution (OOD) inputs, is critical for classifiers (including deep neural networks or DNNs) deployed in real-world applications. While prior works have proposed various methods to detect such anomalous samples using information from the internal layer representations of a DNN, there is a lack of consensus on a principled approach for the different components of such a detection method. As a result, often heuristic and one-off methods are applied for different aspects of this problem. We propose an unsupervised anomaly detection framework based on the internal DNN layer representations in the form of a meta-algorithm with configurable components. We proceed to propose specific instantiations for each component of the meta-algorithm based on ideas grounded in statistical testing and anomaly detection. We evaluate the proposed methods on well-known image classification datasets with strong adversarial attacks and OOD inputs, including an adaptive attack that uses the internal layer representations of the DNN (often not considered in prior work). Comparisons with five recently-proposed competing detection methods demonstrates the effectiveness of our method in detecting adversarial and OOD inputs.

研究动机与目标

• 解决现有方法在利用网络内部层表示检测异常输入（对抗性与OOD）时缺乏系统性、统一框架的问题。
• 克服现有方法的局限性，包括依赖标注的异常样本、对自适应攻击泛化能力差，以及对多层信息利用不足。
• 开发一种无监督、模块化的框架，支持对检验统计量、聚合方法和评分策略进行原理化选择与组合，以实现异常检测。
• 针对新型、具备防御意识的对抗性攻击（旨在规避基于层表示的检测机制）评估该框架的性能。
• 在多样化的数据集和攻击类型下展示鲁棒性能，尤其在受限误报率的现实运行条件下表现优异。

提出的方法

• 该框架JTLA被设计为一种元算法，包含可配置的组件：检验统计量、p值估计、聚合方法和决策阈值。
• 通过在DNN层表示上进行统计假设检验，利用p值量化异常可能性，p值通过核密度估计（LPE）或经验方法估计。
• 通过Fisher方法或算术平均法将各层的p值进行组合，实现对多层模式的联合分析。
• 该方法为无监督：无需在已知异常样本上进行训练，仅依赖推理阶段的干净输入分布。
• 通过聚焦于难以在不被检测到的情况下被操纵的层表示，使框架对自适应攻击具有鲁棒性。
• 引入层表示的类别条件分析，以提升检测灵敏度，尤其针对利用类别特异性特征的攻击。

实验结果

研究问题

• RQ1 基于DNN层表示的统计检验，能否构建一种通用的无监督框架，使其在对抗性与OOD输入检测上优于现有方法？
• RQ2 与单层或仅输出层的方法相比，对多层表示进行联合分析在多大程度上提升了检测的鲁棒性？
• RQ3 该框架在多大程度上能泛化到未知且具备防御意识的自适应对抗攻击？
• RQ4 不同的p值估计与聚合策略对检测性能和计算效率有何影响？
• RQ5 在高置信度对抗攻击下，引入层表示的类别条件特性是否能提升检测准确性？

主要发现

• 在CIFAR-10上，JTLA在大多数攻击下（包括自适应攻击）的pAUC-0.2指标均优于所有对比方法，展现出强大的泛化能力。
• 在SVHN上，JTLA保持了强劲性能，aK-LPE变体在自适应攻击下优于马氏距离方法，表明对具备防御意识的对手具有鲁棒性。
• 在MNIST上，尽管Odds和Trust在部分攻击下优于JTLA（因其logits中存在独特模式），但JTLA的aK-LPE变体在自适应攻击下仍具竞争力，且表现更优，该攻击专门设计用于规避Fisher方法。
• JTLA的aK-LPE变体对自适应攻击表现出更强的抗性，表明其p值估计方法更难被操纵。
• JTLA保持了较低的运行时间（如CIFAR-10上为2.18分钟/折），优于计算开销较大的方法（如Odds和LID），后者需要大量采样或交叉验证。
• 该框架的模块化设计使其能够涵盖并改进先前方法（如Mahalanobis和LID），通过提供严谨的统计基础。