[논문 리뷰] Control theoretically explainable application of autoencoder methods to fault detection in nonlinear dynamic systems

Linlin Li, Steven X. Ding외 3명|arXiv (Cornell University)|2022. 08. 02.

Fault Detection and Control Systems인용 수 7

한 줄 요약

이 논문은 비선형 동적 시스템에서 최적의 고장 탐지 문제를 제어 이론에 기반한 오토인코더(I-AE)를 제안한다. 이는 잠재 변수가 손실 없는 정보 압축을 달성하도록 보장함으로써 이루어진다. 해밀토니안 시스템 이론과 내부 시스템 설계를 통합함으로써, 분석적 프로세스 모델이 필요 없고 편미분 방정식을 풀 필요 없이 데이터 기반의 모델 프리(free) 고장 탐지를 가능하게 하며, 거짓 경고율 제약 조건을 만족하면서 최대의 탐지 가능성을 확보한다. 이는 삼탱크 시스템에서 검증되었다.

ABSTRACT

This paper is dedicated to control theoretically explainable application of autoencoders to optimal fault detection in nonlinear dynamic systems. Autoencoder-based learning is a standard machine learning method and widely applied for fault (anomaly) detection and classification. In the context of representation learning, the so-called latent (hidden) variable plays an important role towards an optimal fault detection. In ideal case, the latent variable should be a minimal sufficient statistic. The existing autoencoder-based fault detection schemes are mainly application-oriented, and few efforts have been devoted to optimal autoencoder-based fault detection and explainable applications. The main objective of our work is to establish a framework for learning autoencoder-based optimal fault detection in nonlinear dynamic systems. To this aim, a process model form for dynamic systems is firstly introduced with the aid of control theory, which also leads to a clear system interpretation of the latent variable. The major efforts are made on the development of a control theoretic solution to the optimal fault detection problem, in which an analog concept to minimal sufficient statistic, the so-called lossless information compression, is introduced and proven for dynamic systems and fault detection specifications. In particular, the existence conditions for such a latent variable are derived, based on which a loss function and further a learning algorithm are developed. This learning algorithm enables optimally training of autoencoders to achieve an optimal fault detection in nonlinear dynamic systems. A case study on three-tank system is given at the end of this paper to illustrate the capability of the proposed autoencoder-based fault detection and to explain the essential role of the latent variable in the proposed fault detection system.

연구 동기 및 목표

• 분석적 프로세스 모델이나 편미분 방정식을 풀 필요 없이 비선형 동적 시스템에 대한 데이터 기반 최적의 고장 탐지 프레임워크를 개발하는 것.
• 잠재 변수를 시스템 이론적 개념(예: 내부 시스템, 손실 없는 정보 압축)과 연결함으로써 오토인코더 기반 고장 탐지에 대한 제어 이론적 기반을 구축하는 것.
• 잠재 변수가 최소 충분 통계량이 되도록 보장하는 학습 알고리즘을 설계함으로써, 거짓 경고율 제약 조건 하에서 고장 탐지 가능성을 최대화하는 것.
• 실제 비선형 동적 시스템(삼탱크 시스템)에서 제안된 방법을 검증하고 기존 표준 오토인코더 방법보다 뛰어난 성능을 입증하는 것.

제안 방법

• 서로소 인수분해와 시스템 이미지 표현을 사용하여 동적 시스템 모델을 수립함으로써, 잠재 변수에 대한 제어 이론적 해석을 가능하게 한다.
• 비선형 시스템에서 손실 없는 정보 압축의 개념을 도입하며, 이는 시스템이 내부 시스템일 경우에만 달성 가능하며, 이는 최적의 고장 탐지를 보장한다.
• 내부 시스템 제약 조건을 통합함으로써 잠재 변수가 최소 충분 통계량이 되도록 보장하는 정규화된 손실 함수를 개발한다.
• 해밀토니안 시스템 이론을 적용하여 선형 정수계(LTI) 결과를 비선형 시스템으로 확장함으로써 고장 탐지 솔루션의 이론적 최적성을 확보한다.
• 서로소 정보율 분석을 통해 잠재 변수가 과정 데이터의 노이즈나 불확실성으로부터 영향을 받지 않음을 확인함으로써, 이가 최소 충분 통계량으로서의 역할을 수행함을 검증한다.
• 두 개의 정규화 항을 포함한 데이터 기반 학습 절차를 활용하여 내부 시스템 구조를 강제함으로써 최적의 재구성과 고장 탐지를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비선형 동적 시스템에서 오토인코더 기반 고장 탐지의 원리를 설명하고 최적화하기 위한 제어 이론적 프레임워크를 수립할 수 있는가?
• RQ2 오토인코더의 잠재 변수가 어떤 조건에서 손실 없는 정보 압축을 달성하여 최적의 고장 탐지 가능성을 보장할 수 있는가?
• RQ3 정보 이론에서의 최소 충분 통계량 개념을 신경망 기반 오토인코더에 어떻게 실현할 수 있는가?
• RQ4 분석적 프로세스 모델이나 복잡한 미분 방정식을 풀지 않고도 비선형 시스템에서 최적의 고장 탐지를 달성할 수 있는가?
• RQ5 잠재 변수는 어떤 역할을 하여 높은 고장 탐지 가능성을 확보하면서 낮은 거짓 경고율을 유지하는가?

주요 결과

• 삼탱크 시스템에서 I-AE 기반 고장 탐지 시스템은 표준 오토인코더보다 훨씬 높은 고장 탐지 가능성을 확보하면서도 요구되는 거짓 경고율을 유지한다.
• I-AE의 잠재 변수는 상호정보율이 0임을 증명함으로써 최소 충분 통계량임을 입증하였으며, 이는 노이즈나 외란으로부터의 오염이 없음을 의미한다.
• 오토인코더가 내부 시스템으로 설계될 경우 손실 없는 정보 압축이 수학적으로 보장되며, 이는 정규화된 손실 함수를 통해 강제로 구현된다.
• 제안된 방법은 명시적 프로세스 모델이나 편미분 방정식의 해석적 해를 요구하지 않으며 비선형 시스템에서 최적의 고장 탐지를 가능하게 한다.
• TTS20 시뮬레이터에서의 이론적 분석과 실험 결과는 I-AE 프레임워크가 제어 이론적 최적성 기준을 충족하며 기존의 AE 기반 접근법보다 뛰어나다는 것을 확인한다.
• 본 연구는 잠재 변수가 노이즈 없고 정보를 유지하는 표현으로서의 역할이 고장 평가의 최대 민감성을 달성하는 데 필수적임을 입증한다.