[论文解读] Autonomous Fault Detection in Self-Healing Systems using Restricted Boltzmann Machines

Christopher Schneider, Adam Barker+1 more|arXiv (Cornell University)|Jan 7, 2015

Neural Networks and Reservoir Computing参考文献 24被引用 7

一句话总结

本文提出了一种新颖的自愈系统中自主故障检测方法，利用受限玻尔兹曼机（RBMs）和对比发散学习，从历史系统数据中预测特征行为序列。通过比较预测值与实际值，该方法无需人工干预即可识别故障根本原因，在评估中实现了75%的调和平均准确率，性能优于先前基于HMM和ANN的方法，能够更有效地检测和排序潜在原因。

ABSTRACT

Autonomously detecting and recovering from faults is one approach for reducing the operational complexity and costs associated with managing computing environments. We present a novel methodology for autonomously generating investigation leads that help identify systems faults, and extends our previous work in this area by leveraging Restricted Boltzmann Machines (RBMs) and contrastive divergence learning to analyse changes in historical feature data. This allows us to heuristically identify the root cause of a fault, and demonstrate an improvement to the state of the art by showing feature data can be predicted heuristically beyond a single instance to include entire sequences of information.

研究动机与目标

• 通过实现自主故障检测和根本原因识别，降低大规模计算环境中的运营成本和人工监督。
• 通过引入一种预测性、无监督学习方法，克服自愈系统中依赖人工的反应式恢复策略的局限性。
• 在先前基于HMM和ANN的工作基础上，通过RBMs建模实现特征序列的多步预测。
• 评估基于RBMs的故障检测方法在识别故障源方面的性能，与HMM和朴素贝叶斯等现有方法进行对比。
• 探索从反应式故障检测向主动式故障检测过渡的可行性，结合序列预测与特征局部性分析。

提出的方法

• 该方法利用受限玻尔兹曼机（RBMs）通过历史系统配置和性能数据的对比发散学习进行训练。
• 通过WMI定期从系统中收集特征数据，并使用唯一标识符存储，以追踪随时间的变化。
• 应用适应度函数，根据RBMs模型学习到的期望值，将特征状态分类为有效或无效。
• 系统将RBMs预测的特征状态与实际观测到的状态进行比较，以检测异常并生成故障调查线索。
• 故障诊断框架（ADF）利用预测值与实际值之间的差异，按可能性高低对潜在根本原因进行排序。
• 该方法利用无监督学习构建正常行为的内部模型，无需预先标注的故障数据或专家定义的规则。

实验结果

研究问题

• RQ1 通过对比发散学习训练的RBMs能否有效预测系统特征行为序列，以实现自主故障检测？
• RQ2 基于RBMs的故障检测方法在识别故障根本原因方面，与先前使用HMM和ANN的方法相比，性能如何？
• RQ3 该系统在多大程度上能够预测未来多个时间点的特征状态，从而实现主动故障检测？
• RQ4 引入特征局部性分析是否能提高在分布式或复杂系统中故障诊断的准确性和可靠性？
• RQ5 该方法能否通过减少故障检测与恢复过程中的人员监督，降低大规模IT环境中的运营成本？

主要发现

• 基于RBMs的方法在多个评估指标中实现了75%的调和平均性能，优于HMM和朴素贝叶斯方法在故障诊断准确率方面的表现。
• 在有足够的训练数据时，系统在75%的测试案例中成功识别出正确的根本原因（网络适配器吞吐量变化）。
• 当配置样本较少时，系统的准确率下降至14%，表明其对数据稀疏性敏感，需要充足的训练数据。
• 该方法展示了预测完整特征行为序列的能力，推动了从反应式向主动式故障检测的转变。
• 适应度函数的使用使系统能够自主建立对正常行为的预期，而无需预先构建的模型或人工输入。
• 结果表明，基于RBMs的预测可支持故障定位的自适应原原子，并可能在未来与特征局部性检测技术集成。