[论文解读] Deep Autoencoding GMM-based Unsupervised Anomaly Detection in Acoustic Signals and its Hyper-parameter Optimization

Harsh Purohit, Ryo Tanabe+4 more|arXiv (Cornell University)|Sep 25, 2020

Anomaly Detection Techniques and Applications参考文献 15被引用 13

一句话总结

本文提出了一种新型无监督异常检测方法 DAGMM-HO，用于声学信号分析，该方法结合了深度自编码器（DA）与高斯混合模型（GMM），并引入了自动化的超参数优化。通过使用轮廓统计量（gap statistic）和累积特征值确定最优的 GMM 组件数与自编码器降维维度，该方法在工业风扇声学数据上的 AUC 提升了 20%（最高达 96%），显著优于先前方法。

ABSTRACT

Failures or breakdowns in factory machinery can be costly to companies, so there is an increasing demand for automatic machine inspection. Existing approaches to acoustic signal-based unsupervised anomaly detection, such as those using a deep autoencoder (DA) or Gaussian mixture model (GMM), have poor anomaly-detection performance. In this work, we propose a new method based on a deep autoencoding Gaussian mixture model with hyper-parameter optimization (DAGMM-HO). In our method, the DAGMM-HO applies the conventional DAGMM to the audio domain for the first time, with the idea that its total optimization on reduction of dimensions and statistical modelling will improve the anomaly-detection performance. In addition, the DAGMM-HO solves the hyper-parameter sensitivity problem of the conventional DAGMM by performing hyper-parameter optimization based on the gap statistic and the cumulative eigenvalues. Our evaluation of the proposed method with experimental data of the industrial fans showed that it significantly outperforms previous approaches and achieves up to a 20% improvement based on the standard AUC score.

研究动机与目标

• 解决现有无监督方法在声学信号分析中异常检测性能不佳的问题。
• 克服传统 DAGMM 模型对超参数的敏感性，特别是对 GMM 组件数量和自编码器潜在维度的依赖。
• 开发一种自动化、数据驱动的流程，用于在 DAGMM 中选择最优超参数，以实现声学异常检测。
• 在真实世界工业风扇声学数据上评估所提出方法，并与最先进无监督异常检测技术进行性能对比。

提出的方法

• DAGMM-HO 模型首先利用深度自编码器（DA）进行降维和重构误差计算，随后通过高斯混合模型（GMM）对压缩特征与误差特征的组合进行密度估计。
• 采用轮廓统计量（gap statistic）确定最优 GMM 组件数，通过识别聚类有效性中的“肘点”实现稳健聚类，避免过拟合。
• 利用主成分分析（PCA）的累积特征值估计自编码器的最优潜在维度，实现压缩效率与信息保留之间的平衡。
• 通过端到端联合优化自编码器的重构损失与 GMM 的负对数似然，训练模型。
• 特征提取采用对数梅尔倒谱系数（log-mel spectrograms），帧长为 1024，步长为 512，滤波器组数为 64，作为 DAGMM-HO 模型的输入。
• 异常得分通过能量得分（Equation 10）计算，该得分结合了 GMM 成员概率与重构误差，用于最终决策。

实验结果

研究问题

• RQ1 与独立使用的方法相比，深度自编码器与高斯混合模型的结合是否能显著提升无监督声学异常检测性能？
• RQ2 在真实声学数据中，如何有效缓解 DAGMM 模型中超参数敏感性问题，特别是 GMM 组件数量与自编码器潜在维度的影响？
• RQ3 使用轮廓统计量与累积特征值分析进行超参数选择，是否能提升工业声学信号中异常检测的鲁棒性与泛化能力？
• RQ4 所提出的 DAGMM-HO 方法在 AUC 与 F1 分数方面，相较于传统无监督方法（如 DA、GMM、OC-SVM 及其两步组合）的性能提升程度如何？

主要发现

• 所提出的 DAGMM-HO 方法实现了 96% 的 AUC 得分，相较于表现最佳的传统方法（AUC 仅 79%）提升了 20%。
• 该方法的 F1 得分为 94%，显著优于次优方法（DAE+GMM）的 F1 得分 79%。
• 采用轮廓统计量与累积特征值分析进行超参数优化，有效降低了模型对超参数的敏感性，并在多种工业风扇类型中提升了模型泛化能力。
• 两步法（即深度自编码器与 GMM 的组合，DAE+GMM）优于单阶段方法，但所提出的 DAGMM-HO 通过自动化超参数调优，进一步超越了该组合方法。
• 该方法在六种不同尺寸与设计的工业风扇真实声学数据上表现出色，展示了在异构声学特征下的稳定检测能力。
• 基于 GMM 成员概率与重构误差的能量得分提供了可靠的异常得分，支持通过预设阈值实现准确分类。