[논문 리뷰] Anomaly Detection for Industrial Control Systems Using Sequence-to-Sequence Neural Networks

Jonguk Kim, Jeong-Han Yun외 1명|arXiv (Cornell University)|2019. 11. 12.

Anomaly Detection Techniques and Applications참고 문헌 20인용 수 11

한 줄 요약

이 논문은 정상 운영 데이터만을 사용하여 산업 제어 시스템(ICS)에서의 이상 탐지에 주목하는 순서-순서(sequence-to-sequence, seq2seq) 신경망을 제안한다. 모델은 시간적 의존성을 학습하여 향후 센서 및 액추에이터 값 예측을 수행하며, 임계값을 초과하는 편차는 이상으로 간주한다. SWaT 데이터셋에서 공격 탐지율은 80.6% (36개 공격 중 29개), 공격 지점 탐지율은 47.2% (53개 지점 중 25개)를 기록했으며, 잠재적 거짓 경고(false positive)와 잠재적 누락 경고(false negative)에 대한 상세 분석을 수행하였다.

ABSTRACT

This study proposes an anomaly detection method for operational data of industrial control systems (ICSs). Sequence-to-sequence neural networks were applied to train and predict ICS operational data and interpret their time-series characteristic. The proposed method requires only a normal dataset to understand ICS's normal state and detect outliers. This method was evaluated with SWaT (secure water treatment) dataset, and 29 out of 36 attacks were detected. The reported method also detects the attack points, and 25 out of 53 points were detected. This study provides a detailed analysis of false positives and false negatives of the experimental results.

연구 동기 및 목표

• 제어 논리나 공격 서명에 접근할 수 없는 상황에서 ICS의 이상을 탐지하는 문제를 해결한다.
• 오직 정상 운영 데이터에 기반한 데이터 기반 이상 탐지 방법을 개발한다.
• ICS 환경에서 공격과 그 특정 공격 지점을 모두 탐지할 수 있도록 한다.
• 예측 오차와 이상도 수준을 시스템 행동의 맥락에서 분석하여 거짓 경고를 줄인다.

제안 방법

• 시계열 데이터의 시간적 의존성을 모델링하기 위해 어텐션 기반의 순서-순서 신경망을 사용한다.
• 순차적 맥락을 포착하기 위해 100초의 슬라이딩 윈도우를 적용하며, 스텝 크기는 1초이다.
• 데이터 분포를 유지하고 LSTM 활성화 함수에 적합하기 위해 최소-최대 정규화(0에서 1 사이)를 적용한다.
• 정상 운영 데이터에만 모델을 훈련시켜 정상 상태를 암묵적으로 학습한다.
• 추론 단계에서는 실제 값과 예측 값 간의 예측 오차를 계산한다.
• 예측 오차에 기반한 임계값 기반 의사결정 규칙을 사용하여 이상 경고를 트리거한다.

실험 결과

연구 질문

• RQ1 정상 ICS 데이터만으로 훈련된 seq2seq 모델이 SWaT 데이터셋의 알려진 공격을 탐지할 수 있는가?
• RQ2 모델은 공격 시퀀스 내에서 개별 공격 지점을 얼마나 효과적으로 탐지하는가?
• RQ3 탐지 결과에서 거짓 경고와 잠재적 누락 경고의 원인과 패턴은 무엇인가?
• RQ4 표준 RNN과 비교했을 때 어텐션 메커니즘이 예측 정확도와 이상 탐지 민감도에 어떤 영향을 미치는가?

주요 결과

• 모델은 SWaT 데이터셋에서 36개 공격 중 29개를 탐지하여 80.6%의 공격 탐지율을 달성했다.
• 53개 공격 지점 중 25개를 탐지하여 특정 공격 이벤트에 대한 탐지율은 47.2%였다.
• 거짓 경고의 주요 원인은 훈련 데이터에서 절대 수정되지 않은 P-201 및 P-205와 같은 액추에이터의 예기치 않은 그러나 안정적인 변화였다.
• 프로세스 1에서는 다섯 건의 참 거짓 경고가 발생했고, 프로세스 2에서는 네 건이 발생했으며, 대부분 P-201 및 P-205 행동과 관련이 있었다.
• 프로세스 4의 거짓 경고는 프로세스 5의 공격 37에서 기인했으며, 이는 다중 프로세스 감도를 시사한다.
• 거짓 경고 이후 AIT-201 및 AIT-203의 예측 오차가 증가했으며, 이는 공격 이후 새로운 안정된 운영 상태가 모델에 학습된 것으로 보인다.