[论文解读] Bayesian Assessment of a Connectionist Model for Fault Detection

Stephen I. Gallant|arXiv (Cornell University)|Mar 27, 2013

Rough Sets and Fuzzy Logic参考文献 4被引用 7

一句话总结

该论文评估了一种连接主义模型，即通过口袋算法训练的线性判别网络（LDN），用于在噪声布尔系统中的故障检测。结果表明，LDN 的性能达到最优贝叶斯决策规则的约 97%，并证明了任何噪声单模式布尔（NSB）故障检测问题均可通过不含隐层节点的 LDN 实现最优求解。

ABSTRACT

A previous paper [2] showed how to generate a linear discriminant network (LDN) that computes likely faults for a noisy fault detection problem by using a modification of the perceptron learning algorithm called the pocket algorithm. Here we compare the performance of this connectionist model with performance of the optimal Bayesian decision rule for the example that was previously described. We find that for this particular problem the connectionist model performs about 97% as well as the optimal Bayesian procedure. We then define a more general class of noisy single-pattern boolean (NSB) fault detection problems where each fault corresponds to a single :pattern of boolean instrument readings and instruments are independently noisy. This is equivalent to specifying that instrument readings are probabilistic but conditionally independent given any particular fault. We prove: 1. The optimal Bayesian decision rule for every NSB fault detection problem is representable by an LDN containing no intermediate nodes. (This slightly extends a result first published by Minsky & Selfridge.) 2. Given an NSB fault detection problem, then with arbitrarily high probability after sufficient iterations the pocket algorithm will generate an LDN that computes an optimal Bayesian decision rule for that problem. In practice we find that a reasonable number of iterations of the pocket algorithm produces a network with good, but not optimal, performance.

研究动机与目标

• 评估通过口袋算法训练的连接主义模型（LDN）在故障检测中相对于最优贝叶斯决策规则的性能。
• 定义并形式化一类噪声单模式布尔（NSB）故障检测问题，其中在给定故障条件下，仪器读数条件独立。
• 证明任何 NSB 问题的最优贝叶斯决策规则均可由不含中间节点的 LDN 表示。
• 建立口袋算法在经过足够迭代后，以高概率收敛至最优 LDN 的理论基础。
• 在训练迭代次数有限的实际场景中，评估口袋算法在真实世界故障检测场景下的性能表现。

提出的方法

• 将 NSB 故障检测问题形式化为一个概率模型，其中每个故障对应一组唯一的仪器读数布尔模式。
• 在给定故障条件下，将仪器读数建模为条件独立，每个仪器具有已知的错误概率。
• 推导 NSB 问题的最优贝叶斯决策规则，该规则涉及在给定仪器读数下计算故障的后验概率。
• 应用口袋算法——一种感知机算法的变体，能在训练过程中保留迄今为止的最佳解——以学习逼近贝叶斯决策规则的 LDN。
• 证明任何 NSB 问题的最优贝叶斯决策规则均可由不含隐藏单元的 LDN 表示，扩展了 Minsky 和 Selfridge 的早期工作。
• 通过一个具体示例，实证评估 LDN 相对于贝叶斯最优解的性能，测量分类准确率。

实验结果

研究问题

• RQ1 在噪声故障检测问题中，通过口袋算法训练的连接主义模型（LDN）相对于最优贝叶斯决策规则的性能如何？
• RQ2 任何 NSB 故障检测问题的最优贝叶斯决策规则是否可由不含隐藏节点的线性判别网络表示？
• RQ3 在足够多的迭代后，口袋算法是否以高概率收敛至 NSB 问题的最优 LDN？
• RQ4 在合理迭代次数下，口袋算法在分类准确率方面的实际性能如何？
• RQ5 在何种条件下，LDN 是概率性噪声系统中故障检测的充分且最优表示？

主要发现

• 在测试示例中，使用口袋算法训练的 LDN 达到了最优贝叶斯决策规则约 97% 的性能。
• 任何 NSB 故障检测问题的最优贝叶斯决策规则均可由不含中间节点的 LDN 表示，证实了此类网络的表示能力。
• 理论上，口袋算法在经过足够多的训练迭代后，可以以任意高的概率收敛至最优 LDN。
• 在实践中，经过合理数量的迭代，口袋算法生成的 LDN 表现良好，尽管并非完美。
• NSB 模型类别等价于在给定故障条件下指定仪器读数的条件独立性，这使得贝叶斯解具有可分析性。
• 本研究通过形式化证明，在 NSB 设置下最优贝叶斯规则与 LDN 之间存在表示等价性，扩展了 Minsky 和 Selfridge 的前期工作。