[논문 리뷰] Anomaly Detection for Water Treatment System based on Neural Network with Automatic Architecture Optimization

Dmitry Shalyga, Pavel Filonov외 1명|arXiv (Cornell University)|2018. 07. 19.

Anomaly Detection Techniques and Applications참고 문헌 31인용 수 62

한 줄 요약

이 논문은 SWaT 수처리 데이터셋의 이상 탐지를 개선하기 위해 유전 알고리즘으로 신경망 아키텍처를 자동으로 검색하고, NAB를 기본 평가 지표로 사용하며 탐지 품질과 해석 가능성을 높이는 기술을 추가한다.

ABSTRACT

We continue to develop our neural network (NN) based forecasting approach to anomaly detection (AD) using the Secure Water Treatment (SWaT) industrial control system (ICS) testbed dataset. We propose genetic algorithms (GA) to find the best NN architecture for a given dataset, using the NAB metric to assess the quality of different architectures. The drawbacks of the F1-metric are analyzed. Several techniques are proposed to improve the quality of AD: exponentially weighted smoothing, mean p-powered error measure, individual error weight for each variable, disjoint prediction windows. Based on the techniques used, an approach to anomaly interpretation is introduced.

연구 동기 및 목표

• SWaT의 산업제어시스템(ICS) 데이터를 위한 조기 및 정확한 이상 탐지를 촉진한다.
• 특정 시계열 데이터셋에 맞춘 NN 아키텍처를 제안하는 자동화 방법을 개발한다.
• 추가 기술과 NAB 평가를 통해 탐지 품질과 해석 가능성을 향상시킨다.
• 감지된 이상에 대응하는 잠재적으로 공격받은 태그를 식별하여 이상 진단을 가능하게 한다.

제안 방법

• 신경 예측 모델을 위해 입력 윈도우와 예측 윈도우로 SWaT의 다변량 시계열 데이터를 표현한다.
• 템플릿(MLP, CNN, RNN)에서 MSE를 최소화하는 NN 아키텍처를 생성하고 선택하기 위해 유전 알고리즘을 사용한다.
• 후진전파(Adam 옵티마이저)로 후보 아키텍처를 학습하고 NAB 지표와 F1 점수로 평가한다.
• 지수 가중 평활, 평균 p제곱 오차, 태그별 가중치, 비중첩 예측 윈도우 등 이상 탐지를 강화하는 기술을 도입한다.
• 감지된 이상에 대해 가장 큰 예측 오차를 가진 태그를 찾아 이상 해석 메커니즘을 제공한다.

실험 결과

연구 질문

• RQ1 자동 신경망 아키텍처 검색이 수동으로 선택된 모델과 비교하여 SWaT 데이터셋의 이상 탐지 성능을 향상시킬 수 있는가?
• RQ2 NN 예측을 사용할 때 ICS 이상 탐지에서 거짓 양성/거짓 음성을 가장 잘 균형 잡는 기법은 무엇인가?
• RQ3 이 접근법이 이상에 관여한 특정 태그를 진단하고 다단계 공격 해석을 얼마나 지원할 수 있는가?

주요 결과

• 최고 성능 모델(MLP 템플릿)은 NAB 점수 69.612와 F1 점수 0.812를 달성하였다.
• 모델은 34개 중 25개의 이상을 탐지했고 7개의 거짓 양성을 보였다.
• 이상 탐지는 이상 길이의 평균 11%의 지연을 보였다.
• 아키텍처 검색은 특정 계층 형태를 가진 encoder–analyzer–decoder 구성으로 최상위 솔루션을 찾았다.
• GRU 기반 네트워크가 LSTM 기반 네트워크보다 더 나은 성능을 보였다고 그들의 비교에서.
• 거의 주기적이지 않은 태그를 제거한 축소 데이터세트를 사용해도 F1 점수는 약간만 감소했다(6% 하락). NAB는 조기 탐지의 중요성을 반영한다.