Skip to main content
QUICK REVIEW

[论文解读] Estimation of Dimensions Contributing to Detected Anomalies with Variational Autoencoders

Yasuhiro Ikeda, Kengo Tajiri|arXiv (Cornell University)|Nov 12, 2018
Anomaly Detection Techniques and Applications参考文献 24被引用 9
一句话总结

本文提出了一种新颖的方法,利用变分自编码器(VAEs)通过建模接近正常的潜在分布并最大化对数似然,来估计哪些输入维度对检测到的异常有贡献。该方法在识别贡献维度方面优于基线模型,实现了无需标注异常数据的可解释异常检测。

ABSTRACT

Anomaly detection using dimensionality reduction has been an essential technique for monitoring multidimensional data. Although deep learning-based methods have been well studied for their remarkable detection performance, their interpretability is still a problem. In this paper, we propose a novel algorithm for estimating the dimensions contributing to the detected anomalies by using variational autoencoders (VAEs). Our algorithm is based on an approximative probabilistic model that considers the existence of anomalies in the data, and by maximizing the log-likelihood, we estimate which dimensions contribute to determining data as an anomaly. The experiments results with benchmark datasets show that our algorithm extracts the contributing dimensions more accurately than baseline methods.

研究动机与目标

  • 为解决基于深度学习的异常检测中可解释性不足的问题,特别是识别哪些输入维度对异常检测有贡献。
  • 开发一种无需依赖标注异常数据即可估计贡献维度的方法,从而实现在半监督设置下的可解释性。
  • 改进现有依赖重构误差或稀疏性假设的方法,这些方法在非稀疏异常场景下可能错误估计贡献。
  • 通过分析贡献程度,实现对异常类型的识别,即使在缺乏异常标签的情况下亦可实现。

提出的方法

  • 该方法使用训练好的VAE来建模正常数据的潜在分布,假设若调整了贡献维度,异常数据将表现为正常。
  • 引入一种近似概率模型,将潜在空间中可能贡献的维度固定为合理的正常值。
  • 通过在该修改后的潜在分布下最大化重构数据的对数似然,来估计每个维度的贡献程度。
  • 该方法利用VAE的概率特性,计算反映每个维度在异常背景下偏离正常程度的似然值。
  • 该方法应用于半监督设置,仅使用正常数据进行训练,并对检测到的异常估计其贡献。

实验结果

研究问题

  • RQ1我们能否在不依赖重构误差或稀疏性假设的前提下,准确估计VAE检测到的异常中哪些输入维度有贡献?
  • RQ2与基线方法相比,所提出的基于对数似然的贡献估计方法在基准数据集上的表现如何?
  • RQ3在真实世界医学数据(如心电图心律失常)中,估计出的贡献维度是否与临床有意义的特征一致?
  • RQ4该方法是否能实现在半监督设置下的异常解释,即在无异常类型标签的情况下,通过贡献模式推断异常类型?

主要发现

  • 在基准数据集上,所提方法在与真实异常成因的对齐程度上,比基线方法更准确地提取了贡献维度。
  • 在心电图心律失常数据中,估计出的贡献维度与已知临床特征一致:左束支传导阻滞表现为QRS时限延长,右束支传导阻滞表现为R’波振幅增加,前壁心肌梗死表现为QRS形态改变。
  • 对于第2类(症状高度可变)患者,未发现一致的贡献模式,与该疾病的临床变异性一致。
  • 对贡献程度进行t-SNE可视化后,显示按异常类别聚类,表明该方法捕捉到了异常空间中的有意义结构。
  • 该方法成功将临床上相关的ECG特征(如ST/T波移位、内在R’波)识别为最重要的贡献维度,且未使用任何标注的异常数据。

更好的研究,从现在开始

从阅读论文到最终审阅,大幅缩短您的研究时间。

无需绑定信用卡

本解读由 AI 生成,并经人工编辑审核。