[논문 리뷰] Intrusion Detection for Industrial Control Systems: Evaluation Analysis and Adversarial Attacks.

Giulio Zizzo, Chris Hankin외 2명|arXiv (Cornell University)|2019. 11. 08.

Adversarial Robustness in Machine Learning참고 문헌 10인용 수 16

한 줄 요약

이 논문은 산업 제어 시스템에서 LSTM 기반 침입 탐지 시스템(_IDS_)을 평가하여, 센서 데이터를 조작함으로써 탐지를 회피하는 악성 공격에 취약함을 입증한다. 공격 데이터를 사용하지 않는 데이터 泄漏-없는 튜닝 방법을 제안하며, 공격 후행 효과를 고려할 경우 F₁ 스코어 0.811 ± 0.0103을 달성하여 실제 구현에서의 내구성과 신뢰성을 향상시킨다.

ABSTRACT

Neural networks are increasingly used in security applications for intrusion detection on industrial control systems. In this work we examine two areas that must be considered for their effective use. Firstly, is their vulnerability to adversarial attacks when used in a time series setting. Secondly, is potential over-estimation of performance arising from data leakage artefacts. To investigate these areas we implement a long short-term memory (LSTM) based intrusion detection system (IDS) which effectively detects cyber-physical attacks on a water treatment testbed representing a strong baseline IDS. For investigating adversarial attacks we model two different white box attackers. The first attacker is able to manipulate sensor readings on a subset of the Secure Water Treatment (SWaT) system. By creating a stream of adversarial data the attacker is able to hide the cyber-physical attacks from the IDS. For the cyber-physical attacks which are detected by the IDS, the attacker required on average 2.48 out of 12 total sensors to be compromised for the cyber-physical attacks to be hidden from the IDS. The second attacker model we explore is an $L_{\infty}$ bounded attacker who can send fake readings to the IDS, but to remain imperceptible, limits their perturbations to the smallest $L_{\infty}$ value needed. Additionally, we examine data leakage problems arising from tuning for $F_1$ score on the whole SWaT attack set and propose a method to tune detection parameters that does not utilise any attack data. If attack after-effects are accounted for then our new parameter tuning method achieved an $F_1$ score of 0.811$\pm$0.0103.

연구 동기 및 목표

• 산업 제어 시스템에서 LSTM 기반 침입 탐지 시스템(_IDS_)의 악성 공격에 대한 취약성을 평가하는 것.
• 초기화 파rameter 튜닝 과정에서 데이터 泄漏로 인한 성능 과대평가 문제를 조사하는 것.
• 공격 데이터를 사용하지 않아 데이터 泄漏 유형의 오염 요소를 방지하는 파rameter 튜닝 방법을 개발하는 것.
• 두 가지 다른 공격자 모델을 사용하여 악성 공격이 탐지 회피에 얼마나 효과적인지 평가하는 것.
• 침입 탐지 시스템에서 사이버-물리적 공격을 숨기기 위해 공격자가 필요한 최소 센서 수를 정량화하는 것.

제안 방법

• SWaT 물처리 시험베드 데이터셋을 기반으로 학습한 LSTM 기반 IDS를 구현하여 사이버-물리적 공격을 탐지하는 데 사용.
• 두 가지 화이트박스 공격자 모델을 시뮬레이션: 하나는 일부 센서의 센서 읽기 값을 조작하고, 다른 하나는 L∞-제한된 변형을 사용하여 눈에 띄지 않게 유지.
• 공격 데이터를 최적화 과정에서 제외하여 데이터 泄漏를 제거하는 새로운 초기화 파rameter 튜닝 전략을 제안.
• 주요 평가 지표로 F₁ 스코어를 사용하며, 튜닝은 공격이 발생하지 않은 데이터 세트 부분에서 수행.
• 실제 탐지 지연 및 지속성 반영을 위해 평가 시 공격 후행 효과를 고려.
• 공격 성공률을 측정하기 위해 손상된 센서 수와 탐지 회피율을 평가.

실험 결과

연구 질문

• RQ1 시간적 시리즈 환경에서 센서 읽기 값을 조작하는 악성 공격에 대해 LSTM 기반 IDS는 얼마나 취약한가?
• RQ2 초기화 파arameter 튜닝 과정에서의 데이터 泄漏는 IDS 평가에서 성능을 얼마나 과대평가하는가?
• RQ3 침입 탐지 시스템에서 탐지를 회피하기 위해 공격자가 최소 몇 개의 센서를 손상시켜야 하는가?
• RQ4 L∞-제한된 악성 공격은 눈에 띄지 않게 유지하면서도 탐지를 회피하는 데 얼마나 효과적인가?
• RQ5 데이터 泄漏-없는 튜닝 방법은 침입 탐지에서 F₁ 스코어 추정의 신뢰성 향상에 기여하는가?

주요 결과

• 공격자는 평균적으로 12개 센서 중 2.48개만 손상시켜도 LSTM 기반 IDS에서 사이버-물리적 공격을 성공적으로 숨길 수 있었다.
• 제안된 데이터 泄漏-없는 튜닝 방법은 공격 후행 효과를 고려할 경우 F₁ 스코어 0.811 ± 0.0103을 달성했다.
• L∞-제한된 공격자 모델은 눈에 띄지 않는 변형을 생성하면서도 여전히 탐지를 회피할 수 있었으며, 이는 침투성의 우수함을 입증했다.
• 특히 전체 공격 세트에서 튜닝을 수행할 경우 데이터 泄漏로 인한 성능 과대평가가 확인되었다.
• 표준 평가 관행이 공격 데이터 오염로 인해 IDS의 내구성 수준을 과대평가할 수 있음을 연구가 제기했다.
• 결과적으로 산업 제어 시스템 보안 연구 분야에서 엄격하고, 데이터 泄漏-없는 평가 프로토콜의 필요성을 강조한다.