[论文解读] Subset Scanning Over Neural Network Activations

Skyler Speakman, Srihari Sridharan+3 more|arXiv (Cornell University)|Oct 19, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用 5

一句话总结

本文提出在神经网络激活值上应用子集扫描（Subset Scanning），以在不微调或修改网络结构的前提下，检测异常输入（如对抗样本）。通过应用非参数扫描统计方法，在对数线性时间内识别出节点激活中最异常的子集，量化异常程度，检测CIFAR-10图像中的扰动，并揭示一种干扰模式：浅层中的异常激活会抑制深层中真实特征表示的形成。

ABSTRACT

This work views neural networks as data generating systems and applies anomalous pattern detection techniques on that data in order to detect when a network is processing an anomalous input. Detecting anomalies is a critical component for multiple machine learning problems including detecting adversarial noise. More broadly, this work is a step towards giving neural networks the ability to recognize an out-of-distribution sample. This is the first work to introduce "Subset Scanning" methods from the anomalous pattern detection domain to the task of detecting anomalous input of neural networks. Subset scanning treats the detection problem as a search for the most anomalous subset of node activations (i.e., highest scoring subset according to non-parametric scan statistics). Mathematical properties of these scoring functions allow the search to be completed in log-linear rather than exponential time while still guaranteeing the most anomalous subset of nodes in the network is identified for a given input. Quantitative results for detecting and characterizing adversarial noise are provided for CIFAR-10 images on a simple convolutional neural network. We observe an "interference" pattern where anomalous activations in shallow layers suppress the activation structure of the original image in deeper layers.

研究动机与目标

• 使预训练的神经网络在无需微调或结构修改的情况下，检测分布外或对抗性输入。
• 通过测量输入数据在激活空间中相对于正常输入背景分布的偏离程度，量化其异常程度。
• 通过在节点子集上进行可扩展的精确搜索，检测并表征神经网络激活中的异常模式。
• 通过节点级异常定位，提供对抗性噪声如何破坏正常特征表示的可解释性洞察。
• 为将子集扫描扩展至受限搜索空间及更广泛的应用场景（超越对抗检测）奠定基础。

提出的方法

• 应用非参数扫描统计方法，度量测试输入的激活模式与正常输入背景集之间激活模式的偏离程度。
• 利用线性时间子集扫描特性，在J个节点的网络中，高效识别所有2^J个可能子集中最异常的子集。
• 基于在零假设（正常性）下观测到的激活计数与预期背景计数之间的似然比，定义异常度得分。
• 通过将最高子集得分与基于背景输入推导出的阈值进行比较，实现无监督异常检测。
• 通过识别对最高得分子集有贡献的具体节点和层，表征异常，从而实现可解释性。
• 将方法扩展至在评分函数中引入软约束，以反映领域知识，例如优先考虑特定层。

实验结果

研究问题

• RQ1 子集扫描是否能在完全无监督的情况下，不经过微调，检测神经网络中的对抗性输入？
• RQ2 子集扫描在高维激活空间中，是否能有效识别出最异常的节点激活子集？
• RQ3 当存在对抗性噪声时，网络中会涌现出何种结构模式，特别是关于层间激活破坏的特征？
• RQ4 该方法是否能揭示对抗性噪声干扰正常特征表示的可解释机制？
• RQ5 如何扩展子集扫描，以在不受约束的子集搜索之外提升检测能力？

主要发现

• 该方法成功使用一个包含96,800个节点的预训练卷积神经网络，在CIFAR-10图像上检测出对抗性扰动。
• 子集扫描在对数线性时间内识别出最异常的节点子集，实现了对所有2^J个子集的精确搜索，无需近似。
• 观察到一种干扰模式：浅层中的异常激活会抑制深层中原始图像的正常激活结构。
• 最高得分的子集节点始终集中在早期卷积层和池化层，表明这些层是对抗性噪声的主要目标。
• 子集得分提供了一个单一、可解释的实数值异常度指标，与对抗性扰动的存在高度相关。
• 该方法通过定位异常节点，实现可解释AI，揭示了对抗性噪声如何以及在何处干扰特征学习。