[논문 리뷰] Multi-Source Data Fusion for Cyberattack Detection in Power Systems

Abhijeet Sahu, Zeyu Mao외 5명|arXiv (Cornell University)|2021. 01. 18.

Network Security and Intrusion Detection참고 문헌 69인용 수 4

한 줄 요약

이 논문은 실시간 테스트베드에서 얻은 사이버, 물리적, 보안 데이터를 융합하는 다중 소스 데이터 융합 프레임워크를 제안하여 전력 시스템 내 사이버 공격 탐지 성능을 향상시킨다. 이론적으로 이질적인 센서 데이터를 시간에 동기화된 전처리와 기계학습 모델을 통해 융합함으로써 순수 사이버 기반 탐지 대비 F1 점수에서 최대 20% 향상되며, 공훈련(semi-supervised) 기반의 기계학습 기법이 지도학습 성능을 뛰어넘거나 이를 상회한다.

ABSTRACT

Cyberattacks can cause a severe impact on power systems unless detected early. However, accurate and timely detection in critical infrastructure systems presents challenges, e.g., due to zero-day vulnerability exploitations and the cyber-physical nature of the system coupled with the need for high reliability and resilience of the physical system. Conventional rule-based and anomaly-based intrusion detection system (IDS) tools are insufficient for detecting zero-day cyber intrusions in the industrial control system (ICS) networks. Hence, in this work, we show that fusing information from multiple data sources can help identify cyber-induced incidents and reduce false positives. Specifically, we present how to recognize and address the barriers that can prevent the accurate use of multiple data sources for fusion-based detection. We perform multi-source data fusion for training IDS in a cyber-physical power system testbed where we collect cyber and physical side data from multiple sensors emulating real-world data sources that would be found in a utility and synthesizes these into features for algorithms to detect intrusions. Results are presented using the proposed data fusion application to infer False Data and Command injection-based Man-in- The-Middle (MiTM) attacks. Post collection, the data fusion application uses time-synchronized merge and extracts features followed by pre-processing such as imputation and encoding before training supervised, semi-supervised, and unsupervised learning models to evaluate the performance of the IDS. A major finding is the improvement of detection accuracy by fusion of features from cyber, security, and physical domains. Additionally, we observed the co-training technique performs at par with supervised learning methods when fed with our features.

연구 동기 및 목표

• 제로데이 공격을 탐지하는 데 있어 전통적인 룰 기반 및 이상 탐지 기반 IDS의 한계를 해결하기 위해.
• 다양한 시간 해상도와 데이터 특성을 지닌 사이버, 물리적, 보안 도메인의 이질적 데이터 융합에 도전하기 위해.
• 실시간 사이버-물리 테스트베드에서 데이터 융합, 전처리, 기계학습 기법의 영향을 평가하여 침입 탐지 정확도에 미치는 영향을 분석하기 위해.
• 단일 도메인 접근 방식에 비해 사이버 및 물리적 특징 간 도메인 간 융합이 탐지 성능 향상에 크게 기여함을 입증하기 위해.
• 제한된 레이블 데이터를 가진 실세계 환경에서 공훈련 기반의 준지도학습의 실현 가능성과 효과성을 검증하기 위해.

제안 방법

• 프레임워크는 시뮬레이션된 사이버(스노트, 네트워크 로그), 물리적(PMUs, SCADA, 스마트 미터), 보안(IDS 경고) 센서로부터 실시간 데이터를 수집한다.
• 데이터 융합은 다중 소스 데이터 스트림을 시간에 동기화하여 병합한 후, 보간, 인코딩, 정규화를 포함한 전처리를 수행한다.
• 사이버, 물리적, 보안 도메인에서 특징을 추출하여 상호 도메인 간 융합을 통해 탐지 모델의 표현력을 향상시킨다.
• 융합된 데이터셋을 기반으로 지도학습, 준지도학습(co-training), 비지도학습(k-means, 다양체 학습) 기반의 기계학습 모델을 학습하고 평가한다.
• 차원 감소 기법으로서 다양체 학습 기법(LLE, MDS, Isomap, t-SNE, 스펙트럴)을 적용하여 성능 향상 여부를 평가하고, 다양한 분류기 간 성능을 비교한다.
• 다양한 분류기(SVC, k-NN, DT, RF, GNB, BNB, MLP)를 대상으로 공격 탐지 작업(가짜 데이터 주입, 맨인더미들 공격 포함)에서 F1 점수, 정밀도, 재현율을 기반으로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 사이버, 물리적, 보안 도메인의 데이터 융합이 단일 도메인 탐지 대비 전력 시스템 ICS 내 침입 탐지 정확도를 향상시키는가?
• RQ2 보간 및 인코딩을 포함한 데이터 전처리가 융합된 사이버-물리 침입 탐지에서 기계학습 모델의 성능에 어떤 영향을 미치는가?
• RQ3 레이블이 제한된 상황에서 공훈련 준지도학습 기법이 완전히 지도학습 대비 어느 정도의 성능을 보이는가?
• RQ4 융합된 사이버-물리 특징에 대해 다각체 학습 기법을 적용할 경우 분류 정확도가 향상되는가, 아니면 주로 시각화 목적에 유용한가?
• RQ5 다양한 데이터 해상도와 시간 동기화 과제가 실시간 ICS 환경에서 다중 소스 데이터 융합의 효과성에 어떤 영향을 미치는가?

주요 결과

• 사이버 및 물리적 특징 융합은 단일 사이버 특징 사용 대비 평균 15-20% 향상된 F1 점수를 기록하였다.
• 스노트 기반 레이블을 침입 이벤트의 타임스탬프로 대체함으로써 F1 점수 평균 10-20% 향상되었다.
• 공훈련 준지도학습 기법은 지도학습 성능과 동등하거나 이를 뛰어넘었으며, LR 및 GNB와 같은 특정 분류기에서 F1 점수 최대 5% 향상되었다.
• k-means 군집화 알고리즘은 비지도 기법 중에서도 뛰어난 강건성과 정확도를 보였으며, 평가에서 다른 군집화 기법들을 능가하였다.
• LLE, MDS, Isomap 등의 다각체 학습 기법은 분류 정확도 향상에 기여하지 않았으며, 따라서 성능 향상 목적에는 권장되지 않지만, 시각화 목적에는 유용할 수 있다.
• 결정 트리 및 랜덤 포레스트 분류기의 경우 다각체 학습 기법을 적용하더라도 성능 향상이 미미하여, 이러한 모델에 대해서는 해당 기법이 불필요하다는 것을 시사한다.