[논문 리뷰] Efficient Cyber Attacks Detection in Industrial Control Systems Using Lightweight Neural Networks and PCA

Moshe Kravchik, Asaf Shabtai|arXiv (Cornell University)|2019. 07. 02.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 11

한 줄 요약

이 논문은 1D 컨volution 신경망(CNN)과 오토에인코더(AE)를 사용하여 시간 영역과 주파수 영역에서 산업 제어 시스템(ICS)에 대한 경량이며 일반화 가능한 이상 탐지 방법을 제안한다. 이는 세 가지 공개 ICS 데이터셋에서 최신 기술 수준의 탐지 성능를 달성하며, 공격자에 의한 회피 공격에 대해 강건성을 보이며, 특성 기여도를 통한 공격 지역 규명이 가능하다. 또한 주성분 분석(PCA) 기반 전처리는 많은 경우 탐지 효율성과 정확도를 향상시킨다.

ABSTRACT

Industrial control systems (ICSs) are widely used and vital to industry and society. Their failure can have severe impact on both economics and human life. Hence, these systems have become an attractive target for attacks, both physical and cyber. A number of attack detection methods have been proposed, however they are characterized by a low detection rate, a substantial false positive rate, or are system specific. In this paper, we study an attack detection method based on simple and lightweight neural networks, namely, 1D convolutions and autoencoders. We apply these networks to both the time and frequency domains of the collected data and discuss pros and cons of each approach. We evaluate the suggested method on three popular public datasets and achieve detection rates matching or exceeding previously published detection results, while featuring small footprint, short training and detection times, and generality. We also demonstrate the effectiveness of PCA, which, given proper data preprocessing and feature selection, can provide high attack detection scores in many settings. Finally, we study the proposed method's robustness against adversarial attacks, that exploit inherent blind spots of neural networks to evade detection while achieving their intended physical effect. Our results show that the proposed method is robust to such evasion attacks: in order to evade detection, the attacker is forced to sacrifice the desired physical impact on the system. This finding suggests that neural networks trained under the constraints of the laws of physics can be trusted more than networks trained under more flexible conditions.

연구 동기 및 목표

• 최소한의 계산 자원을 사용하면서도 높은 탐지 정확도를 유지하는 일반화 가능한 경량 이상 탐지 방법을 개발하는 것.
• 다양한 ICS 데이터셋에서 시간 영역과 주파수 영역에서 1D CNN과 오토에인코더의 공격 탐지 성능을 평가하는 것.
• 신경망 기반 특성 기여도를 통해 영향을 받은 센서나 액추에이터를 식별하여 설명 가능한 공격 지역 규명을 가능하게 하는 것.
• 물리적 영향을 유지하면서 탐지를 회피하고자 하는 공격자에 의한 공격에 대해 제안된 모델의 강건성을 평가하는 것.
• PCA 기반 특성 선택 및 재구성 방법이 ICS에서 이상 탐지의 효과적인 경량 기준 모델이 될 수 있는지 조사하는 것.

제안 방법

• 이 방법은 시간 영역과 주파수 영역에서 ICS 센서 및 액추에이터 데이터로부터 정상 행동 패턴을 학습하기 위해 1D CNN과 완전히 복원되지 않는 오토에인코더(UAE)를 사용한다.
• 시간 영역 데이터는 직접 처리되며, 주파수 영역 분석은 단기 푸리에 변환(STFT)을 사용하여 스펙트럼 특징을 추출한다.
• 특성 선택은 가장 구분력 있는 변수를 식별하기 위해 코모고로프-스미르노프 검정을 사용하여 수행되며, 노이즈 감소와 모델 일반화 향상에 기여한다.
• 공격 지역 규명은 모델 출력에 대한 입력 특성에 대한 기울기를 계산하여 영향을 받을 가능성이 높은 센서나 액추에이터를 강조함으로써 달성된다.
• 공격자에 의한 공격에 대한 강건성 평가를 위해 백색 상자 공격 모델을 사용하여 탐지를 회피하는 공격 입력을 생성하며, 다양한 노이즈 제약 조건 하에서 강건성을 테스트한다.
• PCA는 전처리 및 독립적인 탐지 방법으로 적용되며, 재구성 오차가 이상도 수준으로 사용된다.

실험 결과

연구 질문

• RQ1 1D CNN과 오토에인코더는 다양한 ICS 데이터셋에서 일반화 가능한가? 이는 이전의 방법보다 높은 탐지 정확도를 달성하는가?
• RQ2 시간 영역 분석과 비교하여 주파수 영역 표현이 공격 탐지 성능 향상에 기여하는가?
• RQ3 모델은 영향을 받은 센서나 액추에이터를 식별함으로써 설명 가능한 공격 지역 규명을 제공할 수 있는가?
• RQ4 물리적 시스템 영향을 유지하면서 탐지를 회피하고자 하는 공격자에 의한 공격에 대해 신경망 기반 탐지기가 얼마나 강건한가?
• RQ5 PCA 기반 특성 선택 및 재구성은 ICS에서 이상 탐지의 효과적인 경량 기준 모델이 될 수 있는가?

주요 결과

• 제안된 1D CNN 및 오토에인코더 모델은 SWaT, WADI, PecanStreet 데이터셋에서 이전에 발표된 결과와 동일하거나 이를 초월하는 탐지율을 달성하였으며, 낮은 가짜 양성 비율과 빠른 추론 시간을 보였다.
• STFT를 사용한 주파수 영역 분석은 특정 경우에 탐지 성능을 향상시켰으며, 특히 신호의 주기성이나 고조파 성분이 이상을 나타내는 경우에 유용하였다.
• 모델은 강력한 공격자에 의한 공격에 대한 강건성을 보였으며, 탐지를 회피하기 위해 의도된 물리적 행동에서 크게 벗어나야 하는 공격 입력이 필요했고, 이는 실제 공격에 비실용적임을 시사했다.
• 노이즈 제약 조건(예: ≤0.05)이 적용된 경우, 공격 입력 생성이 완전히 실패하여 현실적인 변형에 대해 매우 높은 내성성을 보였다.
• PCA 기반 재구성 오차는 효과적인 기준 탐지기로 기능하였으며, 적절한 특성 선택이 이루어진 경우 더 복잡한 모델보다도 높거나 동등한 성능을 보였다.
• 기울기 기반 중요도를 통한 공격 지역 규명은 스푸핑 공격에서 다중 특성 자극이 발생할 수 있음에도 불구하고, 영향을 받은 센서나 액추에이터를 성공적으로 식별하여 시스템 운영자에게 실질적인 통찰을 제공하였다.