[논문 리뷰] No Need to Know Physics: Resilience of Process-based Model-free Anomaly Detection for Industrial Control Systems

Alessandro Erba, Nils Ole Tippenhauer|arXiv (Cornell University)|2020. 12. 07.

Smart Grid Security and Resilience참고 문헌 21인용 수 5

한 줄 요약

이 논문은 물리 시스템에 대한 지식 없이 산업 제어 시스템(ICS)의 모델 기반 프로세스 기반 이상 탐지기에서 탐지를 회피하는 합성 센서 위조 공격을 생성하기 위한 일반적 프레임워크를 제안한다. 강력한 初기 탐지 성능에도 불구하고 평가된 네 대의 탐지기 중 세 대는 공간적 및 시간적 상관관계를 충분히 모델링하지 못해 공격을 회피하게 되며, 한 대의 탐지기만이 제약이 없는 재생 공격이 사용되지 않는 한 성능을 유지한다.

ABSTRACT

In recent years, a number of process-based anomaly detection schemes for Industrial Control Systems were proposed. In this work, we provide the first systematic analysis of such schemes, and introduce a taxonomy of properties that are verified by those detection systems. We then present a novel general framework to generate adversarial spoofing signals that violate physical properties of the system, and use the framework to analyze four anomaly detectors published at top security conferences. We find that three of those detectors are susceptible to a number of adversarial manipulations (e.g., spoofing with precomputed patterns), which we call Synthetic Sensor Spoofing and one is resilient against our attacks. We investigate the root of its resilience and demonstrate that it comes from the properties that we introduced. Our attacks reduce the Recall (True Positive Rate) of the attacked schemes making them not able to correctly detect anomalies. Thus, the vulnerabilities we discovered in the anomaly detectors show that (despite an original good detection performance), those detectors are not able to reliably learn physical properties of the system. Even attacks that prior work was expected to be resilient against (based on verified properties) were found to be successful. We argue that our findings demonstrate the need for both more complete attacks in datasets, and more critical analysis of process-based anomaly detectors. We plan to release our implementation as open-source, together with an extension of two public datasets with a set of Synthetic Sensor Spoofing attacks as generated by our framework.

연구 동기 및 목표

• 산업 제어 시스템(ICS)의 모델 기반 프로세스 기반 이상 탐지 기법의 내성성을 체계적으로 분석하기 위해.
• 기존 이상 탐지기의 취약성을 물리적 프로세스 특성의 부적절한 모델링에서 기인하는 바를 규명하기 위해.
• 탐지기에서 탐지되지 않도록 하되, 탐지기의 눈을 피할 수 있는 일반화 가능한 프레임워크를 개발하기 위해.
• 공격자가 물리 시스템 지식 없이도 탐지기를 회피할 수 있음을 입증하여, 도청성에 대한 이전 가정을 도전하기 위해.
• 향상된 데이터셋과 타겟팅된 물리학 인식 공격을 활용한 이상 탐지기의 비판적 평가를 촉구하기 위해.

제안 방법

• 이상 탐지기가 검증하는 물리적 특성의 분류 체계를 제안: 시간 일관성, 공간 일관성, 통계적 성질.
• 정상 시스템 동작의 수동 관측만을 사용하여 합성 센서 위조 공격을 생성하는 일반적 프레임워크를 설계.
• 물리적 제약(예: 일정한 값 또는 사전 계산된 노이즈 패턴)을 위반하지만 통계적 및 시간 패턴을 유지하는 위조 신호를 구축.
• 재생, 일정한 위조, 노이즈 기반 패턴을 포함한 공격을 구현하여 정상 작동을 모방하면서도 탐지기를 회피하도록 함.
• 실제 ICS 데이터셋에 생성된 위조 공격을 추가하여 탐지기 평가를 수행.
• 공격 조건 하에서 탐지 실패를 정량화하기 위해 재현율(recall, 진짜 양성 비율)을 사용해 탐지기 성능을 측정.

실험 결과

연구 질문

• RQ1 모델 기반 이상 탐지기의 ICS에서 물리 시스템 지식 없이도 공격적 위조 공격으로 회피될 수 있는가?
• RQ2 시간적, 공간적, 통계적 특성 중에서 위조 공격에 대한 탐지기 내성성에 핵심적인 특성은 무엇인가?
• RQ3 동일한 공격 조건에서 일부 탐지기는 왜 내성성을 유지하고 다른 탐지기는 실패하는가?
• RQ4 기존의 공개 데이터셋이 얼마나 현실적인 위조 조작 패턴을 반영하지 못하는가?
• RQ5 탐지기의 강건성 평가를 위해 체계적으로 탐지되지 않는 위조 신호를 생성할 수 있는 일반적 프레임워크를 구축할 수 있는가?

주요 결과

• 평가된 네 대의 모델 기반 이상 탐지기 중 세 대는 합성 센서 위조 공격에 취약하며, 재현율이 각각 0.63에서 0.06, 0.47에서 0.0, 0.28에서 0.0으로 떨어진다.
• 간단한 일정한 위조 공격조차도 두 대의 탐지기의 재현율을 0.0으로 낮추며, 기본적인 조작이 탐지 회피에 효과가 있음을 시사한다.
• 내성적인 탐지기(Chen 등 [8])는 공격자가 제약 없는 재생을 사용하지 않는 한 성능을 유지하며, 이는 시간적 및 공간적 상관관계 모델링에 의존함을 나타낸다.
• 모델에서 시간적 및 공간적 특성을 제거하면 이전에는 내성적인 탐지기들도 취약해지며, 이는 이러한 특성이 강건성의 핵심 요소임을 입증한다.
• 프레임워크는 인간에 의해 탐지 가능한 위조 신호를 성공적으로 생성하였으며, 탐지기에서는 탐지되지 않아 공격의 효과성과 도청성을 입증한다.
• 이 연구는 이전에 검증된 물리적 특성에 기반한 탐지기 내성성에 대한 가정이 부족하다는 것을 드러내며, 이러한 특성을 위반하는 공격조차도 탐지되지 않을 수 있음을 보여준다.