[논문 리뷰] Real-time Evasion Attacks with Physical Constraints on Deep Learning-based Anomaly Detectors in Industrial Control Systems

Alessandro Erba, Riccardo Taormina외 5명|arXiv (Cornell University)|2019. 07. 17.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 16

한 줄 요약

이 논문은 산업 제어 시스템 내 딥러닝 기반 이상 탐지기에서 물리적 제약을 준수하면서 센서 독서 값을 조작함으로써 실시간 회피 공격을 제안한다. 화이트박스 최적화와_BLK-박스 오토에인코더를 사용하여 BATADAL 데이터셋에서 탐지 정확도를 0.6에서 0.14로 감소시켜 실제 시스템 행동을 모방함으로써 탐지 회피가 효과적으로 이루어지는 것을 입증한다.

ABSTRACT

Recently, a number of deep learning-based anomaly detection algorithms were proposed to detect attacks in dynamic industrial control systems. The detectors operate on measured sensor data, leveraging physical process models learned a priori. Evading detection by such systems is challenging, as an attacker needs to manipulate a constrained number of sensor readings in real-time with realistic perturbations according to the current state of the system. In this work, we propose a number of evasion attacks (with different assumptions on the attacker's knowledge), and compare the attacks' cost and efficiency against replay attacks. In particular, we show that a replay attack on a subset of sensor values can be detected easily as it violates physical constraints. In contrast, our proposed attacks leverage manipulated sensor readings that observe learned physical constraints of the system. Our proposed white box attacker uses an optimization approach with a detection oracle, while our black box attacker uses an autoencoder (or a convolutional neural network) to translate anomalous data into normal data. Our proposed approaches are implemented and evaluated on two different datasets pertaining to the domain of water distribution networks. We then demonstrated the efficacy of the real-time attack on a realistic testbed. Results show that the accuracy of the detection algorithms can be significantly reduced through real-time adversarial actions: for the BATADAL dataset, the attacker can reduce the detection accuracy from 0.6 to 0.14. In addition, we discuss and implement an Availability attack, in which the attacker introduces detection events with minimal changes of the reported data, in order to reduce confidence in the detector.

연구 동기 및 목표

• 실시간으로 물리적으로 타당한 센서 조작을 통해 산업 제어 시스템 내 딥러닝 기반 이상 탐지기를 회피하는 도전 과제를 해결한다.
• 물리적 제약을 위반하고 쉽게 탐지되는 바이러스 공격의 한계를 극복한다.
• 이상 탐지기 모델에 대한 전체 액세스 없이도 정상적인 시스템 행동과 구분되지 않는 악성 센서 입력을 생성하는 화이트박스 및 블랙박스 공격 전략을 개발한다.
• 실제 데이터셋과 물리적 테스트베드를 통해 이러한 공격의 타당성과 효과성을 입증한다.
• 최소한의 데이터 변경으로도 이상 탐지기 신뢰도를 저하시키기 위해 자주 발생하는 가짜 경고를 유도하는 가용성 기반 공격을 조사한다.

제안 방법

• 학습된 물리적 제약을 준수하면서 탐지 오라클에 의해 이끌리는 최적화 프레임워크를 사용하여, 물리적 제약을 준수하는 악성 센서 입력을 생성하는 화이트박스 공격을 제안한다.
• 이상 센서 데이터를 정상적인 데이터 분포로 매핑하기 위해 오토에인코더 또는 컨볼루션 신경망을 사용하여 블랙박스 공격을 설계한다.
• 사전에 학습된 물리적 프로세스 모델을 통합하여 조작된 센서 독서값이 시스템의 동역학과 일관성을 유지하도록 한다.
• 일관성 있는 물리적 제약을 준수하는 공격의 일반화 능력을 검증하기 위해 물류 분배 네트워크에서 유래한 두 개의 실제 데이터셋에서 공격를 평가한다.
• 실제 테스트베드에서 공격를 구현하고 테스트하여 실시간 구현 가능성과 은폐성(스텔스니스)을 입증한다.
• 최소한의 데이터 변형으로도 빈번한 가짜 경고를 유도하여 이상 탐지기의 신뢰도를 저하시키는 가용성 공격을 도입한다.

실험 결과

연구 질문

• RQ1 산업 제어 시스템의 물리적 제약을 준수하면서 실시간으로 악성 센서 조작을 구현할 수 있는가?
• RQ2 물리적 제약 위반으로 인해 쉽게 탐지되는 기존의 재생 공격에 비해, 제안된 공격는 효율성과 은폐성 측면에서 어떻게 비교되는가?
• RQ3 화이트박스 및 블랙박스 공격 전략은 딥러닝 기반 이상 탐지기의 탐지 정확도를 어느 정도 감소시킬 수 있는가?
• RQ4 최소한의 데이터 변경으로도 가짜 경고를 유도할 수 있는 가용성 공격를 구성할 수 있는가? 이를 통해 이상 탐지기 신뢰도를 저하시킬 수 있는가?
• RQ5 실제 운영 조건에서 실생활 테스트베드 환경에서 제안된 공격는 얼마나 효과적인가?

주요 결과

• 제안된 화이트박스 공격는 물리적 제약을 준수하면서 BATADAL 데이터셋에서 탐지 정확도를 0.6에서 0.14로 크게 감소시켰다.
• 일부 센서에 대한 재생 공격는 물리적 제약을 위반하므로 쉽게 탐지되지만, 제안된 공격는 물리적 타당성을 유지하므로 그렇지 않다.
• 오토에인코더를 사용한 블랙박스 공격는 이상 데이터를 정상적인 데이터로 성공적으로 변환하여 모델에 대한 전체 액세스 없이도 공격를 회피할 수 있었다.
• 공격는 실제 물리적 테스트베드에서 실시간으로 효과적이었으며, 시뮬레이션을 넘어 실제 적용 가능성도 입증했다.
• 가용성 공격는 성공적으로 구현되었으며, 최소한의 데이터 변경으로도 빈번한 가짜 경고를 유도하여 이상 탐지기의 신뢰도를 저하시켰다.
• 결과적으로, 심지어 최첨단 딥러닝 기반 이상 탐지기라도 미세하고 물리적으로 타당한 악성 조작에 취약함을 보여주었다.