[논문 리뷰] Cyber-Attack Consequence Prediction

Prerit Datta, Natalie R. Lodinger외 2명|arXiv (Cornell University)|2020. 12. 01.

Network Security and Intrusion Detection참고 문헌 18인용 수 5

한 줄 요약

이 논문은 NLP 및 벡터화 기법을 사용하여 신규 사이버 공격의 기술적 및 비기술적 영향을 예측하는 기계학습 접근법을 제안한다. 93宗의 공격에 대한 레이블이 부여된 커스터마이징된 데이터셋을 기반으로 모델을 훈련시켜 tf-idf 특징과 LinearSVC를 사용해 60%의 정확도를 달성하였으며, 이는 보안 분석가의 인지 부담을 줄이고 공격 영향에 대한 이해를 높여 비기술자 스테이크홀더와의 커뮤니케이션을 개선하는 데 가능성을 보여준다.

ABSTRACT

Cyber-physical systems posit a complex number of security challenges due to interconnection of heterogeneous devices having limited processing, communication, and power capabilities. Additionally, the conglomeration of both physical and cyber-space further makes it difficult to devise a single security plan spanning both these spaces. Cyber-security researchers are often overloaded with a variety of cyber-alerts on a daily basis many of which turn out to be false positives. In this paper, we use machine learning and natural language processing techniques to predict the consequences of cyberattacks. The idea is to enable security researchers to have tools at their disposal that makes it easier to communicate the attack consequences with various stakeholders who may have little to no cybersecurity expertise. Additionally, with the proposed approach researchers' cognitive load can be reduced by automatically predicting the consequences of attacks in case new attacks are discovered. We compare the performance through various machine learning models employing word vectors obtained using both tf-idf and Doc2Vec models. In our experiments, an accuracy of 60% was obtained using tf-idf features and 57% using Doc2Vec method for models based on LinearSVC model.

연구 동기 및 목표

• 높은 수준의 사이버 경고로 인해 과부하된 보안 분석가의 인지 부담을 줄이기 위해.
• 공격 영향을 비기술자 수준의 영향으로 예측함으로써 비기술자 스테이크홀더에게 효과적으로 영향을 전달하기 위해.
• 텍스트 기반 기술적 설명을 바탕으로 신규 공격의 영향을 예측하는 기계학습 모델을 개발하기 위해.
• 사이버-물리 시스템에서 영향 예측에 대한 다양한 NLP 및 기계학습 기법의 성능을 평가하기 위해.
• 사이버 공격에 대한 기술적 및 비기술적 영향이 주석이 부여된 공개 가능한 데이터셋을 구축하고 배포하기 위해.

제안 방법

• 기술적 및 비기술적 영향이 주석이 부여된 93종의 다양한 사이버 공격에 대한 텍스트 기반 기술 설명을 포함한 커스터마이징된 데이터셋을 구축하였다.
• 텍스트 기술 설명을 수치적 특징으로 변환하기 위해 tf-idf 및 Doc2Vec를 사용한 단어 벡터화를 적용하였다.
• 벡터화된 데이터를 기반으로 LinearSVC, 로지스틱 회귀, 다층 퍼셉트론, 랜덤 포레스트 등의 다양한 기계학습 분류기 모델을 훈련시켰다.
• 데이터셋의 클래스 불균형 문제를 해결하기 위해 훈련-테스트 분할 시 계층적 샘플링을 사용하였다.
• 정확도, 정밀도, 재현도, F1 점수 등의 표준 지표를 사용해 모델 성능을 평가하였다.
• tf-idf 및 Doc2Vec 특징 세트에서 모두 최고의 성능을 보인 모델로 LinearSVC를 선정하였다.

실험 결과

연구 질문

• RQ1 텍스트 기반 기술 설명을 바탕으로 기계학습 모델이 신규 사이버 공격의 비기술적 영향을 정확하게 예측할 수 있는가?
• RQ2 tf-idf와 Doc2Vec 간의 다른 NLP 임bedding 기법이 영향 예측 모델의 성능에 어떤 영향을 미치는가?
• RQ3 사이버 공격 기술 설명의 맥락에서 다중 클래스 영향 예측에 가장 잘 작동하는 기계학습 분류기는 무엇인가?
• RQ4 데이터셋의 클래스 불균형이 모델 성능에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ5 학습 중에 볼 수 없었던 새로운 공격에 대해 모델이 일반화 가능한가? 이를 통해 자동 영향 평가가 가능해지는가?

주요 결과

• LinearSVC 모델이 tf-idf 특징을 사용할 때 가장 높은 정확도 60%를 기록하였으며, 다른 모델들과 Doc2Vec 기반 접근 방식보다 뛰어난 성능을 보였다.
• Doc2Vec 기반 모델은 LinearSVC를 사용해 57%의 정확도를 달성하였으며, 이는 이 맥락에서 어조 빈도 기반 특징(tf-idf)이 의미적 임베딩보다 略적으로 더 높은 성능을 보였음을 시사한다.
• 랜덤 포레스트 분류기는 두 특징 세트 모두에서 성능이 열악했으며, tf-idf 기반으로는 40%, Doc2Vec 기반으로는 42%의 정확도를 기록하여 트리 기반 앙상블 모델이 다양한 사이버 공격 기술 설명을 모델링하는 데 어려움을 겪고 있음을 시사한다.
• 최고 성능을 보인 모델(LineraSVC + tf-idf)의 F1 점수는 0.53이었으며, 이는 정밀도와 재현도 사이의 중간 수준의 균형을 보이고 있음을 의미한다.
• 비록 정확도가 낮지만, 작은 크기이자 불균형한 데이터셋을 고려할 때 이 결과는 자동 영향 예측을 향한 첫 걸음으로 유망하다.
• 하이퍼파라미터 튜닝, 더 깊은 신경망(예: CNN, RNN), 차원 축소 기법(예: PCA 또는 오토인코더)을 통한 향상 가능성이 제안된다.