[논문 리뷰] Forecasting Cyber Attacks with Imbalanced Data Sets and Different Time Granularities

Ahmet Okutan, Shanchieh Jay Yang외 1명|arXiv (Cornell University)|2018. 03. 26.

Network Security and Intrusion Detection참고 문헌 18인용 수 13

한 줄 요약

이 논문은 비정상적인 신호를 트위터와 GDELT에서 추출하여 익명화된 조직을 대상으로 한 사이버 공격을 예측하는 베이지안 네트워크 기반 프레임워크를 제안한다. 이 프레임워크는 신호에 대해 $t_x$ 시간 해상도를, 실제 사건에 대해 $t_g$ 시간 해상도를 사용한다. 또한, 다수의 공격 타입에서 AUC 성능을 크게 향상시키는 새로운 하이브리드 오버샘플링 기법인 SMOTE++를 도입하여, 악성코드, 변조, DDoS, 악성 이메일/URL 공격 등에 대해 최대 70%의 AUC 성능을 달성한다. 이는 극도로 불균형한 사이버 위협 데이터셋에서의 성과이다.

ABSTRACT

If cyber incidents are predicted a reasonable amount of time before they occur, defensive actions to prevent their destructive effects could be planned. Unfortunately, most of the time we do not have enough observables of the malicious activities before they are already under way. Therefore, this work suggests to use unconventional signals extracted from various data sources with different time granularities to predict cyber incidents for target entities. A Bayesian network is used to predict cyber attacks where the unconventional signals are used as indicative random variables. This work also develops a novel minority class over sampling technique to improve cyber attack prediction on imbalanced data sets. The results show that depending on the selected time granularity, the unconventional signals are able to predict cyber attacks for the anonimyzed target organization even though the signals are not explicitly related to that organization. Furthermore, the minority over sampling approach developed achieves better performance compared to the existing filtering techniques in the literature.

연구 동기 및 목표

• 직접적인 네트워크 관측치가 아닌 간접적이고 비정상적인 신호를 활용해 사이버 공격을 사전에 예측하는 것.
• 다양한 시간 해상도($t_x$는 신호에 대해, $t_g$는 실제 사건에 대해)가 예측 성능에 미치는 영향을 조사하는 것.
• 소수 클래스의 예측 성능 향상을 위해 불균형한 사이버 위협 데이터셋 문제를 해결하는 것.
• 더 나은 모델 일반화를 위해 언더샘플링, 합성 소수 클래스 생성, 재가중 처리를 통합한 새로운 오버샘플링 기법인 SMOTE++를 개발하고 평가하는 것.

제안 방법

• 실시간으로 글로벌 미디어와 소셜 디스course를 모니터링하는 트위터와 GDELT에서 비정상적인 신호를 추출한다.
• 다양한 시간 윈도우 $t_x$ (예: 1일, 3일, 1주일) 동안 신호를 집계하여 시간적 추세를 포착한다.
• 목표 대상 기관에 대해 시간 윈도우 $t_g$ (예: 12시간, 24시간, 48시간) 동안 실제 사건을 정의하여 레이블이 부여된 학습 및 테스트 세트를 생성한다.
• 베이지안 네트워크를 사용해 비정상적인 신호와 사이버 공격 결과 간의 확률적 종속성을 모델링한다.
• 다수 클래스의 언더샘플링, 소수 클래스의 합성 인스턴스 생성, 인스턴스 재가중 처리를 통합한 하이브리드 오버샘플링 방법인 SMOTE++를 개발한다.
• 다양한 공격 유형과 시간 해상도 조합에서 AUC 및 F1 스코어를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비정상적인 소셜 미디어 및 글로벌 뉴스 소스에서 유래한 신호는 대상 기관과 직접 관련이 없더라도 사이버 공격을 예측할 수 있는가?
• RQ2 다양한 시간 해상도($t_x$는 신호에 대해, $t_g$는 실제 사건에 대해)가 사이버 공격 예측 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ3 제안된 SMOTE++ 오버샘플링 기법은 기존의 필터링 방법에 비해 불균형한 사이버 위협 데이터셋에서 예측 성능을 향상시키는가?
• RQ4 어떤 비정상적인 신호(예: GEM, GET, GEA)가 특정 사이버 공격 유형에 가장 유의미한 지표가 되는가?
• RQ5 SMOTE++로 인한 성능 향상은 다양한 공격 유형과 시간 해상도 설정에서 통계적으로 유의미한가?

주요 결과

• 베이지안 네트워크 모델은 트위터와 GDELT의 비정상적인 신호만을 사용하여 악성코드, 변조, DDoS, 악성 이메일/URL 공격 예측에서 최대 70%의 AUC 성능을 달성했다.
• 모든 공격 유형에서 GEM, GET, GEA 신호가 다른 신호들보다 사이버 사고 예측에 더 유의미하게 기여했다.
• SMOTE++는 모든 공격 유형에서 SMOTE와 RandomSubsample보다 AUC 성능이 뛰어나며, $t_g = 12$ 또는 $48$ 시간일 경우 통계적으로 유의미한 향상을 보였다.
• 최적의 시간 해상도($t_x$ 및 $t_g$)는 공격 유형에 따라 달라졌으며, 빈번한 공격의 경우 짧은 $t_g$ 값(12–24시간)이 더 높은 성능을 보였다.
• 동일한 신호에 대해 다양한 $t_x$ 값을 사용함으로써 모델 성능이 향상되었으며, 이는 신호 집계 윈도우 선택이 예측 능력에 결정적인 영향을 미친다는 것을 시사한다.
• SMOTE++ 기법을 통해 극도로 불균형한 데이터 세트에서도 강력한 성능 유지를 보였으며, 이는 클래스 편향에 대한 강건성을 입증한다.