[论文解读] Interpretable, Multidimensional, Multimodal Anomaly Detection with Negative Sampling for Detection of Device Failure

John W. Sipple|arXiv (Cornell University)|Jul 12, 2020

Anomaly Detection Techniques and Applications被引用 16

一句话总结

本文提出了一种可扩展的无监督异常检测方法，针对物联网设备使用负采样结合随机森林或神经网络分类器，实现实时多维、多模态异常检测。该方法在异常检测AUC性能上达到当前最先进水平，并通过积分梯度实现可解释的异常归因，已在145栋办公楼的15,000多台设备上成功部署。

ABSTRACT

Complex devices are connected daily and eagerly generate vast streams of multidimensional state measurements. These devices often operate in distinct modes based on external conditions (day/night, occupied/vacant, etc.), and to prevent complete or partial system outage, we would like to recognize as early as possible when these devices begin to operate outside the normal modes. Unfortunately, it is often impractical or impossible to predict failures using rules or supervised machine learning, because failure modes are too complex, devices are too new to adequately characterize in a specific environment, or environmental change puts the device into an unpredictable condition. We propose an unsupervised anomaly detection method that creates a negative sample from the positive, observed sample, and trains a classifier to distinguish between positive and negative samples. Using the Contraction Principle, we explain why such a classifier ought to establish suitable decision boundaries between normal and anomalous regions, and show how Integrated Gradients can attribute the anomaly to specific variables within the anomalous state vector. We have demonstrated that negative sampling with random forest or neural network classifiers yield significantly higher AUC scores than Isolation Forest, One Class SVM, and Deep SVDD, against (a) a synthetic dataset with dimensionality ranging between 2 and 128, with 1, 2, and 3 modes, and with and without noise dimensions; (b) four standard benchmark datasets; and (c) a multidimensional, multimodal dataset from real climate control devices. Finally, we describe how negative sampling with neural network classifiers have been successfully deployed at large scale to predict failures in real time in over 15,000 climate-control and power meter devices in 145 Google office buildings.

研究动机与目标

• 解决在复杂设备（如温控装置和电表）的高维、多模态物联网遥测数据中检测细微、多维异常的挑战。
• 克服传统单类或有监督方法的局限性，因缺乏标注的故障数据以及动态运行模式（如人员在场模式与节能模式）所致。
• 开发一种可扩展的零配置异常检测系统，能够自动适应季节性和环境变化，无需人工重新配置。
• 通过积分梯度实现可解释诊断，将异常得分归因于特定特征维度。
• 在真实世界智能建筑中大规模部署该方法，以减少误报率，并在系统停机前主动检测设备故障。

提出的方法

• 通过在观测到的正常数据点上添加随机噪声或插值，生成负样本，从而创建用于训练的合成异常样本。
• 训练二分类器（随机森林或神经网络），以区分真实正常样本与合成负样本。
• 利用集中现象（Concentration Phenomenon）证明分类器在高维空间中学习到正常与异常区域之间有效决策边界的合理性。
• 应用积分梯度计算特征归因，将异常状态向量中各维度的“责任”按比例分配，以实现可解释性。
• 使用滑动窗口对历史数据进行周期性再训练，使模型能够适应季节性和环境变化。
• 基于设备类型和行为将设备聚类为同质群体，为每个群体分配独立的异常检测实例，实现可扩展部署。

实验结果

研究问题

• RQ1 在多维、多模态物联网数据集上，使用二分类器的负采样方法是否能优于当前最先进的一类异常检测方法？
• RQ2 集中现象在高维特征空间中是否能有效解释异常检测器决策边界的形成？
• RQ3 积分梯度能否提供有意义且可操作的异常解释，将异常责任归因于特定传感器维度？
• RQ4 该方法是否可在具有异构、动态变化设备类型和运行模式的真实世界环境中实现大规模部署？
• RQ5 与基于规则或有监督的故障检测方法相比，该方法在真实智能建筑部署中是否能降低误报率？

主要发现

• 在五个标准基准数据集中的四个上，使用随机森林或神经网络分类器的负采样方法，其AUC得分与Isolation Forest、One-Class SVM、Deep SVDD和Extended Isolation Forest相当或更高。
• 在来自温控装置的真实世界多维、多模态数据集上，该方法在异常检测性能上优于当前最先进方法。
• NS-NN（负采样结合神经网络）模型已成功大规模部署，用于监控加利福尼亚旧金山湾区145栋办公楼中的超过15,000台设备。
• 超过44%的检测到的设备级异常导致了技术人员介入，表明系统具有高度的实际相关性与可操作洞察力。
• 积分梯度有效实现了异常解释，可将异常归因于特定传感器维度，如卡滞的风门或故障传感器，有助于诊断。
• 系统对新设备无需人工配置，并通过在滑动历史窗口上周期性再训练，自动适应季节性变化。