[논문 리뷰] A Novel Anomaly Detection Algorithm for Hybrid Production Systems based on Deep Learning and Timed Automata

Nemanja Hranisavljevic, Oliver Niggemann외 1명|arXiv (Cornell University)|2020. 10. 29.

Fault Detection and Control Systems참고 문헌 15인용 수 7

한 줄 요약

이 논문은 하이브리드 생산 시스템에서의 이상 탐지에 위한 새로운 딥러닝 및 타임드 아우토마타 기반 알고리즘인 DAD: DeepAnomalyDetection를 제안한다. 이 알고리즘은 지속적인 신호를 이산 패턴으로 변환하기 위해 딥 베리프 네트워크를 사용하여 이산적이고 연속적인 신호를 통합적으로 모델링할 수 있도록 하며, 시간적 이상, 예기치 않은 사건, 새로운 패턴을 효과적으로 탐지함으로써 실제 및 합성 데이터 세트에서 유망한 결과를 얻는다.

ABSTRACT

Performing anomaly detection in hybrid systems is a challenging task since it requires analysis of timing behavior and mutual dependencies of both discrete and continuous signals. Typically, it requires modeling system behavior, which is often accomplished manually by human engineers. Using machine learning for creating a behavioral model from observations has advantages, such as lower development costs and fewer requirements for specific knowledge about the system. The paper presents DAD:DeepAnomalyDetection, a new approach for automatic model learning and anomaly detection in hybrid production systems. It combines deep learning and timed automata for creating behavioral model from observations. The ability of deep belief nets to extract binary features from real-valued inputs is used for transformation of continuous to discrete signals. These signals, together with the original discrete signals are than handled in an identical way. Anomaly detection is performed by the comparison of actual and predicted system behavior. The algorithm has been applied to few data sets including two from real systems and has shown promising results.

연구 동기 및 목표

• 이산적이고 연속적인 신호 간의 복잡한 상호작용을 포함하는 하이브리드 생산 시스템에서 이상을 탐지하는 데 도전하는 문제를 해결하기 위해.
• 관찰된 데이터로부터 자동으로 행동 모델을 학습할 수 있도록 전문가 기반 수작업 시스템 모델링에 대한 의존도를 줄이기 위해.
• 딥러닝 기반의 이산화를 통해 이산적이고 연속적인 신호를 이상 탐지에서 통합적으로 다룰 수 있도록 하기 위해.
• 학습된 타임드 아우토마타를 활용하여 시간 관련 이상, 예기치 않은 사건, 새로운 패턴을 탐지할 수 있도록 하기 위해.
• 실제 세계 및 합성 데이터를 대상으로 접근법을 평가하여 실용적 타당성과 내구성을 입증하기 위해.

제안 방법

• 지속적인 신호에 슬라이딩 윈도우를 적용하여 딥 베리프 네트워크(DBN)의 입력 시퀀스를 형성한다.
• DBN은 비지도 학습을 수행하여 실수 값의 지속적 신호를 상위 레이어의 이진 활성 패턴으로 변환한다.
• 결과적으로 생성된 이진 패턴과 원본 이산 신호를 함께 이산 이벤트로 간주하여 모델 학습에 활용한다.
• 이산 이벤트의 시퀀스에서 타임드 아우토마타를 학습하여 시스템의 정상 행동을 시간 제약 조건과 함께 표현한다.
• 학습된 타임드 아우토마타가 생성한 예측값과 실제 시스템 행동을 비교함으로써 이상을 탐지한다.
• 예기치 않은 초기 상태, 새로운 패턴, 알 수 없는 사건, 시간 지연 이상을 모두 탐지할 수 있도록 지원한다.

실험 결과

연구 질문

• RQ1 딥 베리프 네트워크는 산업 시스템의 지속적 센서 신호에서 의미 있는 이산 표현을 효과적으로 추출할 수 있는가?
• RQ2 타임드 아우토마타 기반의 통합 모델은 하이브리드 생산 시스템에서 이산적이고 연속적인 신호의 병합된 행동을 정확히 표현할 수 있는가?
• RQ3 제안된 DAD 알고리즘이 실제 및 합성 데이터에서 시간 지연 이상, 예기치 않은 전이, 새로운 패턴과 같은 다양한 종류의 이상을 얼마나 잘 탐지할 수 있는가?
• RQ4 데이터 전처리 선택 사항(예: 윈도우 크기, 겹침)이 이상 탐지 시스템 성능에 미치는 영향은 무엇인가?
• RQ5 수동 재설정이 필요 없이 모델이 새로운 이상에 얼마나 잘 일반화되는가?

주요 결과

• 스토리지 시스템 실험에서 사이클 초반에 인위적으로 추가된 가우시안 노이즈의 44%가 예기치 않은 초기 상태로 탐지되었고, 40%는 새로운 패턴으로 분류되었다.
• ATM 카드 리더 시스템에서는 신호가 0으로 떨어진 경우의 50%가 새로운 패턴으로 탐지되었고, 45%는 알 수 없는 사건으로 분류되어 급격한 변화에 매우 민감함을 보였다.
• 카드 리더 시스템에서 상태 28에서 27로의 상태 전이가 예상 행동과 다를 경우 이상으로 성공적으로 식별되었다.
• 카드 리더 데이터에서 램프 증가 신호의 15%는 정상으로 분류되었고, 35%는 알 수 없는 사건으로 탐지되어 점진적인 이상에 민감하게 반응함을 보였다.
• 시각적 분석을 통해 DBN이 에너지 신호로부터 의미 있는 패턴을 학습했고, 타임드 아우토마타가 순서 의존적 행동을 정확히 포착함을 확인하였다.
• 제한된 훈련 데이터로 인해 동일한 입력 패턴이 동일한 이산 상태로 일관되게 매핑되지 않더라도, 이상 탐지에서 모델이 강건하게 작동함을 입증하였다.