[논문 리뷰] Omni SCADA Intrusion Detection Using Deep Learning Algorithms

Jun Gao, Luyun Gan외 6명|arXiv (Cornell University)|2019. 08. 06.

Network Security and Intrusion Detection참고 문헌 25인용 수 9

한 줄 요약

이 논문은 피드포워드 신경망(FNN)과 장기 기억 순환 신경망(LSTM)을 조합하여 시간적으로 연관되지 않은 공격과 연관된 공격을 모두 탐지할 수 있는 앙상블 딥러닝 침입 탐지 시스템(_IDS)을 제안한다. FNN-LSTM 앙상블은 99.68% ± 0.04%의 F1 스코어를 기록하며, 개별 모델을 뛰어넘는 성능을 보이며 DoS 및 MITM 공격을 포함한 다양한 유형의 공격에 대해 강건하고 종합적인 탐지 능력을 확보한다.

ABSTRACT

We investigate deep learning based omni intrusion detection system (IDS) for supervisory control and data acquisition (SCADA) networks that are capable of detecting both temporally uncorrelated and correlated attacks. Regarding the IDSs developed in this paper, a feedforward neural network (FNN) can detect temporally uncorrelated attacks at an {F$_{1}$} of {99.967${\pm}$0.005\%} but correlated attacks as low as {58${\pm}$2\%}. In contrast, long-short term memory (LSTM) detects correlated attacks at {99.56${\pm}$0.01\%} while uncorrelated attacks at {99.3${\pm}$0.1\%}. Combining LSTM and FNN through an ensemble approach further improves the IDS performance with {F$_{1}$} of {99.68${\pm}$0.04\%} regardless the temporal correlations among the data packets.

연구 동기 및 목표

• 기존 서명 기반 IDS의 한계를 해결하여 SCADA 시스템에서 알려지지 않은 또는 진화하는 공격을 탐지할 수 있도록 한다.
• 표준 피드포워드 네트워크가 네트워크 트래픽의 시간적 의존성을 모델링하지 못하는 문제를 해결하며, 특히 DoS 및 MITM 공격에 대해 유의미한 성능 향상을 이룬다.
• 딥러닝 기반으로 시간적으로 연관되지 않은 공격과 연관된 공격을 모두 탐지할 수 있는 통합된, 종합적인 침입 탐지 시스템을 개발한다.
• 앙상블 학습을 통해 FNN(시간적으로 연관되지 않은 공격에 유리)과 LSTM(시간적으로 연관된 공격에 유리)의 장점을 융합하여 탐지 정확도를 향상시키고, 임의의 공격 유형에 대한 가짜 경고(false positive)를 줄인다.
• 실제 SCADA 테스트베드에서 Modbus/TCP 트래픽을 기반으로 다양한 공격 시나리오를 적용하여 제안된 모델의 효과성을 입증한다.

제안 방법

• 펌프 속도 조작 및 탱크 수위 이상과 같은 시간적으로 연관되지 않은 공격을 탐지하기 위해, 패킷 내 특징을 기반으로 피드포워드 신경망(FNN)을 학습시킨다.
• 패킷 간의 시간적 패턴을 모델링하기 위해 장기 기억 순환 신경망(LSTM)을 학습시켜, DoS 및 MITM 공격과 같은 시간적 연관성이 있는 공격을 탐지할 수 있도록 한다.
• 다층 퍼셉트론을 사용하여 FNN 및 LSTM의 출력을 결합한 특징을 입력으로 사용하는 앙상블 모델을 구현한다.
• 실제 SCADA 테스트베드에서 Modbus/TCP를 사용하여 수집한 데이터셋 I 및 II(정상 트래픽, 시간적으로 연관된 공격 트래픽, 시간적으로 연관되지 않은 공격 트래픽 포함)를 사용한다.
• 다양한 공격 유형에 대한 성능 평가를 위해 10겹 교차검증을 기반으로 매크로 평균 정밀도, 재현도, F1 스코어를 적용한다.
• CRC, SCAN, MITM, DoS를 포함한 다양한 공격 유형을 구분할 수 있는 다중 클래스 분류 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 IDS가 SCADA 네트워크에서 시간적으로 연관되지 않은 공격과 연관된 공격을 효과적으로 탐지할 수 있는가?
• RQ2 시간적 의존성이 다른 공격에 대해 FNN과 LSTM의 성능는 어떻게 비교되는가?
• RQ3 FNN과 LSTM의 앙상블이 다양한 공격 유형에 걸쳐 전체 탐지 정확도와 강건성을 향상시킬 수 있는가?
• RQ4 수작업으로 생성한 시간적 특징 또는 모델 아키텍처 선택이 DoS 및 MITM 공격 탐지 성능에 미치는 영향은 어느 정도인가?
• RQ5 앙상블 모델이 일반화 능력을 훼손하지 않으면서도 다양한 공격 유형에 걸쳐 높은 성능을 유지하는가?

주요 결과

• FNN는 시간적으로 연관되지 않은 공격에 대해 99.967% ± 0.005%의 F1 스코어를 기록하지만, 시간적으로 연관된 공격에 대해서는 뿐만 아니라 58% ± 2%에 그치며, 이는 시간적 패턴 모델링 능력이 열악하다는 것을 시사한다.
• LSTM 모델은 시간적으로 연관된 공격에 대해 99.56% ± 0.01%의 F1 스코어를 기록하고, 시간적으로 연관되지 않은 공격에 대해서도 99.3% ± 0.1%의 성능를 보이며, 강력한 시간적 패턴 인식 능력을 입증한다.
• FNN-LSTM 앙상블 모델은 모든 공격 유형에서 가장 높은 성능를 기록하며, F1 스코어 99.68% ± 0.04%를 달성하여 개별 모델을 모두 뛰어넘는다.
• 혼동 행렬 분석 결과, FNN는 정상 패킷 5,044.7개를 공격로 잘못 분류하고, 공격 패킷 13,510.4개를 정상으로 잘못 분류함으로써 시간적 연관성이 있는 트래픽에 대한 일반화 능력이 열악함을 확인한다.
• 반면 LSTM은 정상 패킷 105.0개와 공격 패킷 128.4개만 잘못 분류하여 시간적 패턴에 대한 뛰어난 성능를 확인한다.
• 앙상블 모델은 FNN 및 LSTM 개별 모델을 뛰어넘어 일관되게 뛰어난 성능를 보이며, 매크로 평균 F1 스코어 99.68% ± 0.04%, 정밀도 99.76% ± 0.05%, 재현도 99.57% ± 0.03%를 기록한다.