[논문 리뷰] Anomaly Detection using Deep Autoencoders for in-situ Wastewater Systems Monitoring Data

Stefania Russo, Andy Disch외 2명|arXiv (Cornell University)|2020. 02. 07.

Anomaly Detection Techniques and Applications참고 문헌 19인용 수 26

한 줄 요약

이 논문은 복잡한 시계열 데이터에서 이상 패턴을 효과적으로 식별할 수 있도록 복구 오차를 활용하여 다변량 현장 측정 폐수 모니터링 데이터의 이면에서 이상을 탐지하기 위해 1D 합성곱 신경망 기반의 딥 오토인코더를 제안한다. 이 방법은 레이블링이 어려운 실제 환경의 이상 현상에 비해 데이터 품질을 유지를 돕는 도메인 전문가에게 유용하다.

ABSTRACT

Due to the growing amount of data from in-situ sensors in wastewater systems, it becomes necessary to automatically identify abnormal behaviours and ensure high data quality. This paper proposes an anomaly detection method based on a deep autoencoder for in-situ wastewater systems monitoring data. The autoencoder architecture is based on 1D Convolutional Neural Network (CNN) layers where the convolutions are performed over the inputs across the temporal axis of the data. Anomaly detection is then performed based on the reconstruction error of the decoding stage. The approach is validated on multivariate time series from in-sewer process monitoring data. We discuss the results and the challenge of labelling anomalies in complex time series. We suggest that our proposed approach can support the domain experts in the identification of anomalies.

연구 동기 및 목표

• 증가하는 현장 센서 데이터로 인해 폐수 시스템의 데이터 품질을 유지하는 데 발생하는 도전 과제를 해결하기 위해.
• 하수도 내부 모니터링에서 유도되는 복잡한 다변량 시계열 데이터에 적합한 자동화된 이상 탐지 방법을 개발하기 위해.
• 수동 레이블링에 의존도를 줄이기 위해 비지도 학습을 통한 이상 행동 탐지 기능을 제공하기 위해.
• 도메인 전문가가 데이터 이상을 효율적으로 식별하고 진단할 수 있도록 지원하기 위해.

제안 방법

• 1D 합성곱 레이어를 사용하여 시간적 시퀀스의 다변량 센서 데이터를 처리하는 딥 오토인코더 아키텍처를 구성한다.
• 모델은 복원 단계에서 입력 데이터를 복원하도록 학습하며, 복구 오차가 이상 점수로 사용된다.
• 합성곱 연산은 시계열 데이터의 공간-시간적 종속성을 포착하기 위해 시간 축을 따라 적용된다.
• 정상 데이터를 기반으로 엔드 투 엔드 방식으로 학습하여 일반적인 시스템 행동의 압축된 표현을 학습한다.
• 복구 오차가 사전 정의된 임계값을 초과할 경우 이상으로 간주하며, 정상 패턴에서의 이탈을 나타낸다.
• 실제 하수도 내부 모니터링 데이터를 대상으로 평가하여 복잡하고 고차원적인 시계열 데이터에서의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 1D CNN 기반의 딥 오토인코더는 다변량 폐수 모니터링 데이터에서 이상을 탐지하는 데 얼마나 효과적인가?
• RQ2 심층 오토인코더의 복구 오차는 광범위한 레이블링 데이터가 없이도 이상 행동을 신뢰성 있게 식별할 수 있는가?
• RQ3 실제 폐수 시계열 데이터에서 이상을 레이블링하는 데 발생하는 실용적 과제는 무엇이며, 비지도 방법은 이를 어떻게 완화할 수 있는가?
• RQ4 이 방법은 도메인 전문가가 데이터 품질 문제를 진단하는 데 얼마나 효과적으로 기여할 수 있는가?

주요 결과

• 제안된 딥 오토인코더 모델은 복구 오차를 탐지 지표로 사용하여 다변량 현장 측정 폐수 모니터링 데이터에서 이상 패턴을 성공적으로 식별한다.
• 수동 레이블링이 불가능한 복잡한 실세계 시계열 데이터에서 높은 성능을 보이며, 실용성을 입증한다.
• 광범위한 레이블링된 이상 데이터가 필요로 하는 것을 줄여 효과적인 비지도 이상 탐지가 가능해진다.
• 이 방법은 잠재적인 데이터 품질 문제를 강조함으로써 도메인 전문가가 시스템 모니터링 효율성을 향상시키는 데 기여한다.