[论文解读] Outlier Detection through Null Space Analysis of Neural Networks

Matthew Cook, Alina Zare+1 more|arXiv (Cornell University)|Jul 2, 2020

Anomaly Detection Techniques and Applications参考文献 20被引用 5

一句话总结

本文提出零空间分析（NuSA），一种通过分析神经网络权重重矩阵的零空间，将异常值检测直接集成到神经网络中的方法。通过测量零空间投影的大小，NuSA在不依赖独立模型的情况下计算异常值分数，实现了具有竞争力的异常值检测性能，同时保持了分类准确率。

ABSTRACT

Many machine learning classification systems lack competency awareness. Specifically, many systems lack the ability to identify when outliers (e.g., samples that are distinct from and not represented in the training data distribution) are being presented to the system. The ability to detect outliers is of practical significance since it can help the system behave in an reasonable way when encountering unexpected data. In prior work, outlier detection is commonly carried out in a processing pipeline that is distinct from the classification model. Thus, for a complete system that incorporates outlier detection and classification, two models must be trained, increasing the overall complexity of the approach. In this paper we use the concept of the null space to integrate an outlier detection method directly into a neural network used for classification. Our method, called Null Space Analysis (NuSA) of neural networks, works by computing and controlling the magnitude of the null space projection as data is passed through a network. Using these projections, we can then calculate a score that can differentiate between normal and abnormal data. Results are shown that indicate networks trained with NuSA retain their classification performance while also being able to detect outliers at rates similar to commonly used outlier detection algorithms.

研究动机与目标

• 为解决神经网络在缺乏能力感知能力方面的问题，特别是其无法检测训练数据中不存在的异常值。
• 通过将异常值检测能力嵌入现有分类网络，消除对训练独立检测模型的需求。
• 通过网络固有属性实现鲁棒的异常值检测，同时保持高分类准确率。
• 评估零空间投影是否可作为数据异常性的可靠、内嵌度量。

提出的方法

• 该方法计算输入数据在神经网络每个全连接层权重矩阵零空间上的投影。
• 基于这些零空间投影的大小定义异常值分数，数值越大表示越可能是异常值。
• 该分数在推理过程中使用网络内部表征计算，无需额外训练，仅依赖标准反向传播。
• 该方法利用了输入数据中位于权重矩阵零空间内的分量不会影响网络输出的特性，使得此类分量本质上无法被网络检测到。
• 在训练过程中引入正则化项，以控制零空间分量的大小，确保仅有效信号被前向传播。
• 该方法应用于前馈神经网络，并在包含已知类和未知类的MNIST类数据集上进行评估。

实验结果

研究问题

• RQ1 在训练后的神经网络中，是否可以利用零空间投影在不重新训练或添加外部模型的情况下检测异常值？
• RQ2 与现有成熟异常值检测算法相比，NuSA在AUC和精确率-召回率指标上的表现如何？
• RQ3 通过零空间分析集成异常值检测在多大程度上影响了网络原始分类准确率？
• RQ4 使用NuSA时，分类性能与异常值检测能力之间是否存在权衡？

主要发现

• NuSA方法在分类准确率方面与标准训练几乎完全一致，20次运行结果的标准差条重叠，表明性能无显著下降。
• 尽管直方图中分布存在重叠，NuSA在已知类与未知类之间的异常值分数分离度上优于多个基线异常值检测算法。
• 该方法实现了具有竞争力的异常值检测性能，优于HBOS、IForest和MCD等许多传统算法，但在AUC指标上仍不及ABOD、KNN或LOF。
• NuSA的平均AUC与最先进方法相当，尤其在包含五个已知类的平衡配置下（252种测试组合），表现出强大的泛化能力。
• 直方图分析显示，尽管NuSA的已知类与未知类得分存在重叠，但其均值间距大于多数竞争方法，表明其得分分布更具判别性。
• 通过零空间分析将异常值检测集成到分类网络中是可行且有效的，提供了一个统一模型完成两项任务，且无需额外训练或推理成本。