[논문 리뷰] Bayesian Assessment of a Connectionist Model for Fault Detection

Stephen I. Gallant|arXiv (Cornell University)|2013. 03. 27.

Rough Sets and Fuzzy Logic참고 문헌 4인용 수 7

한 줄 요약

이 논문은 노이즈 있는 부울 시스템에서 고장 감지에 대해 연결주의 모델, 특히 포켓 알고리즘을 통해 훈련된 선형 판별 네트워크(LDN)를 평가한다. LDN이 최적의 베이지안 결정 규칙의 약 97% 성능을 달성하며, 임의의 NSB(노이즈가 있는 단일 패턴 부울) 고장 감지 문제는 은닉 노드가 없는 LDN으로 최적으로 해결될 수 있음을 입증한다.

ABSTRACT

A previous paper [2] showed how to generate a linear discriminant network (LDN) that computes likely faults for a noisy fault detection problem by using a modification of the perceptron learning algorithm called the pocket algorithm. Here we compare the performance of this connectionist model with performance of the optimal Bayesian decision rule for the example that was previously described. We find that for this particular problem the connectionist model performs about 97% as well as the optimal Bayesian procedure. We then define a more general class of noisy single-pattern boolean (NSB) fault detection problems where each fault corresponds to a single :pattern of boolean instrument readings and instruments are independently noisy. This is equivalent to specifying that instrument readings are probabilistic but conditionally independent given any particular fault. We prove: 1. The optimal Bayesian decision rule for every NSB fault detection problem is representable by an LDN containing no intermediate nodes. (This slightly extends a result first published by Minsky & Selfridge.) 2. Given an NSB fault detection problem, then with arbitrarily high probability after sufficient iterations the pocket algorithm will generate an LDN that computes an optimal Bayesian decision rule for that problem. In practice we find that a reasonable number of iterations of the pocket algorithm produces a network with good, but not optimal, performance.

연구 동기 및 목표

• 노이즈 있는 고장 감지 문제에서 최적의 베이지안 결정 규칙에 대비하여 포켓 알고리즘으로 훈련된 연결주의 모델(LDN)의 성능을 평가하는 것.
• 고장 발생 시 센서 독립성이 조건부로 성립하는 노이즈가 있는 단일 패턴 부울(NSB) 고장 감지 문제의 클래스를 정의하고 형식화하는 것.
• 임의의 NSB 문제에 대해 최적의 베이지안 결정 규칙이 은닉 노드가 없는 LDN으로 표현될 수 있음을 증명하는 것.
• 충분한 반복 횟수 후에 포켓 알고리즘이 고도로 확률적으로 최적의 LDN으로 수렴함을 확립하는 것.
• 제한된 훈련 반복 횟수로 실제 고장 감지 시나리오에서 포켓 알고리즘의 실용적 성능을 평가하는 것.

제안 방법

• 각 고장가 고유한 센서 독서 부울 패턴에 대응하는 확률 모델로 NSB 고장 감지 문제를 형식화하는 것.
• 고장 발생 시 센서 독서가 조건부로 독립적이며, 각 센서의 오류 확률이 사전에 알려져 있음을 모델링하는 것.
• NSB 문제에 대한 최적의 베이지안 결정 규칙을 유도하며, 이는 센서 독서 결과를 바탕으로 한 고장의 사후 확률 계산을 포함한다.
• 포켓 알고리즘—훈련 중에 관측한 최고의 해를 유지하는 퍼셉트론 알고리즘의 변종—을 적용하여 베이지안 결정 규칙을 근사하는 LDN을 학습하는 것.
• 임의의 NSB 문제에 대해 최적의 베이지안 결정 규칙이 은닉 유닛이 없는 LDN으로 표현될 수 있음을 증명하며, Minsky와 Selfridge의 이전 연구를 확장한다.
• 구체적인 예제를 사용하여 LDN의 성능을 베이지안 최적 성능과 실증적으로 평가하며, 분류 정확도를 측정하는 것.

실험 결과

연구 질문

• RQ1 노이즈 있는 고장 감지 문제에서 포켓 알고리즘으로 훈련된 연결주의 모델(LDN)이 최적의 베이지안 결정 규칙에 비해 얼마나 잘 성능을 내는가?
• RQ2 임의의 NSB 고장 감지 문제에 대해 최적의 베이지안 결정 규칙이 은닉 노드가 없는 선형 판별 네트워크(LDN)로 표현될 수 있는가?
• RQ3 충분한 반복 횟수 후에 포켓 알고리즘이 NSB 문제에 대해 고도로 확률적으로 최적의 LDN으로 수렴하는가?
• RQ4 합리적인 반복 횟수로 훈련된 포켓 알고리즘의 실용적 성능은 분류 정확도 측면에서 어떻게 되는가?
• RQ5 LDN이 확률적 노이즈 시스템에서 고장 감지에 대해 충분하고 최적의 표현이 되는 조건은 무엇인가?

주요 결과

• 포켓 알고리즘으로 훈련된 LDN은 테스트 예제에서 최적의 베이지안 결정 규칙의 약 97% 성능을 달성한다.
• 임의의 NSB 고장 감지 문제에 대해 최적의 베이지안 결정 규칙은 은닉 노드가 없는 LDN으로 표현될 수 있으며, 이는 이러한 네트워크의 표현 능력을 확인한다.
• 포켓 알고리즘은 충분한 훈련 반복 횟수 후에 고도로 확률적으로 최적의 LDN으로 수렴함이 이론적으로 보장된다.
• 실제로, 포켓 알고리즘의 합리적인 반복 횟수로 얻어진 LDN은 뛰어나지만 완벽하지는 않은 성능을 보인다.
• NSB 모델 클래스는 고장 발생 시 센서 독서가 조건부로 독립적임을 규정하며, 이는 베이지안 해법의 해석 가능성을 보장한다.
• Minsky와 Selfridge의 이전 연구를 확장하여, NSB 설정에서 최적의 베이지안 규칙과 LDN 간의 표현 동치성을 엄밀히 증명한다.