[論文レビュー] Bayesian Assessment of a Connectionist Model for Fault Detection

Stephen I. Gallant|arXiv (Cornell University)|Mar 27, 2013

Rough Sets and Fuzzy Logic参考文献 4被引用数 7

ひとこと要約

この論文は、ノイズのあるブール型システムにおける故障検出のための接続主義的モデル、具体的にはポケットアルゴリズムで学習された線形判別ネットワーク（LDN）を評価する。LDNが最適なベイズ意思決定ルールの約97％の性能を達成することを示し、ノイズを含む単一パターンブール型（NSB）故障検出問題は、中間ノードのないLDNによって最適に解けることを証明する。

ABSTRACT

A previous paper [2] showed how to generate a linear discriminant network (LDN) that computes likely faults for a noisy fault detection problem by using a modification of the perceptron learning algorithm called the pocket algorithm. Here we compare the performance of this connectionist model with performance of the optimal Bayesian decision rule for the example that was previously described. We find that for this particular problem the connectionist model performs about 97% as well as the optimal Bayesian procedure. We then define a more general class of noisy single-pattern boolean (NSB) fault detection problems where each fault corresponds to a single :pattern of boolean instrument readings and instruments are independently noisy. This is equivalent to specifying that instrument readings are probabilistic but conditionally independent given any particular fault. We prove: 1. The optimal Bayesian decision rule for every NSB fault detection problem is representable by an LDN containing no intermediate nodes. (This slightly extends a result first published by Minsky & Selfridge.) 2. Given an NSB fault detection problem, then with arbitrarily high probability after sufficient iterations the pocket algorithm will generate an LDN that computes an optimal Bayesian decision rule for that problem. In practice we find that a reasonable number of iterations of the pocket algorithm produces a network with good, but not optimal, performance.

研究の動機と目的

• ノイズのある故障検出問題において、ポケットアルゴリズムで学習された接続主義的モデル（LDN）が最適なベイズ意思決定ルールに対して果たす性能を評価すること。
• 故障が与えられたもとで計器の読み取りが条件付き独立であると仮定する、ノイズを含む単一パターンブール型（NSB）故障検出問題のクラスを定義し、形式化すること。
• 任意のNSB問題における最適なベイズ意思決定ルールが、中間ノードのないLDNによって表現可能であることを証明すること。
• 十分な反復回数の後、ポケットアルゴリズムが高確率で最適なLDNに収束することを確立すること。
• 限られた学習反復回数での実世界の故障検出シナリオにおけるポケットアルゴリズムの実用的性能を評価すること。

提案手法

• 各故障が計器の読み取りの固有のブールパターンに対応する確率的モデルとしてNSB故障検出問題を形式化する。
• 各計器が与えられた故障のもとで条件付き独立であり、それぞれの計器の誤差確率が事前に分かっているとモデル化する。
• NSB問題における最適なベイズ意思決定ルールを導出する。これは、計器の読み取りが与えられたもとでの故障の事後確率を計算することを含む。
• ポケットアルゴリズム（訓練中に得た最良の解を保持するパーセプトロンの変種）を適用し、ベイズ意思決定ルールを近似するLDNを学習する。
• 任意のNSB問題における最適なベイズ意思決定ルールが、中間ユニットのないLDNによって表現可能であることを証明する。これは、ミンスキーとセルフリッジの先行研究を拡張するものである。
• 具体的な例を用いて、LDNの性能をベイズ最適解と比較し、分類精度を測定することで、実験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある故障検出問題において、ポケットアルゴリズムで学習された接続主義的モデル（LDN）は、最適なベイズ意思決定ルールに対してどの程度の性能を発揮するか？
• RQ2 任意のNSB故障検出問題における最適なベイズ意思決定ルールは、中間ノードのないLDNによって表現可能か？
• RQ3 十分な反復回数の後、ポケットアルゴリズムはNSB問題において高確率で最適なLDNに収束するか？
• RQ4 適切な反復回数で学習させた場合、ポケットアルゴリズムの分類精度という観点での実用的性能はいかほどか？
• RQ5 LDNが確率的ノイズを持つシステムにおける故障検出に十分かつ最適な表現であるとされる条件は何か？

主な発見

• ポケットアルゴリズムで学習されたLDNは、テスト例において最適なベイズ意思決定ルールの約97％の性能を達成する。
• 任意のNSB故障検出問題における最適なベイズ意思決定ルールは、中間ノードのないLDNによって表現可能であり、このようなネットワークの表現力が裏付けられる。
• 理論的に、十分な学習反復回数が与えられれば、ポケットアルゴリズムは高確率で最適なLDNに収束することが保証される。
• 実際の応用において、適切な反復回数のポケットアルゴリズムは、完璧ではないが良好な性能を示すLDNを生成する。
• NSBモデルクラスは、故障が与えられたもとでの計器読み取りの条件付き独立性を指定することに相当し、これによりベイズ解の解析的取り扱いが可能になる。
• ミンスキーとセルフリッジの先行研究を拡張し、NSB設定において最適なベイズルールとLDNとの間の表現的同値性を形式的に証明した。