[논문 리뷰] Generating Cyber Threat Intelligence to Discover Potential Security Threats Using Classification and Topic Modeling

Md Imran Hossen, Ashraful Islam외 5명|arXiv (Cornell University)|2021. 08. 15.

Cybercrime and Law Enforcement Studies인용 수 4

한 줄 요약

이 논문은 실제 해커 포럼에서 수집한 데이터를 바탕으로 지도 학습 분류와 비지도 주제 모델링을 융합하여 자동화된 사이버 위협 지능(CTI) 생성 프레임워크를 제안한다. 이는 이진 및 다중 클래스 데이터셋을 구성하고, 다양한 분류기(딥 러닝 모델 포함)를 평가하며, LDA와 NMF를 활용해 주제 탐색을 수행하여 위협 탐지 및 의미 있는 위협 분류에서 높은 성능을 달성한다.

ABSTRACT

Due to the variety of cyber-attacks or threats, the cybersecurity community enhances the traditional security control mechanisms to an advanced level so that automated tools can encounter potential security threats. Very recently, Cyber Threat Intelligence (CTI) has been presented as one of the proactive and robust mechanisms because of its automated cybersecurity threat prediction. Generally, CTI collects and analyses data from various sources e.g., online security forums, social media where cyber enthusiasts, analysts, even cybercriminals discuss cyber or computer security-related topics and discovers potential threats based on the analysis. As the manual analysis of every such discussion (posts on online platforms) is time-consuming, inefficient, and susceptible to errors, CTI as an automated tool can perform uniquely to detect cyber threats. In this paper, we identify and explore relevant CTI from hacker forums utilizing different supervised (classification) and unsupervised learning (topic modeling) techniques. To this end, we collect data from a real hacker forum and constructed two datasets: a binary dataset and a multi-class dataset. We then apply several classifiers along with deep neural network-based classifiers and use them on the datasets to compare their performances. We also employ the classifiers on a labeled leaked dataset as our ground truth. We further explore the datasets using unsupervised techniques. For this purpose, we leverage two topic modeling algorithms namely Latent Dirichlet Allocation (LDA) and Non-negative Matrix Factorization (NMF).

연구 동기 및 목표

• 온라인 포럼 내 방대한 비정형 위협 관련 논의를 수작업으로 분석하는 과제를 해결한다.
• 해커 포럼 콘텐츠에서 사이버 위협을 자동으로 추출하고 분류하여 사전 위협 지능을 제공하는 시스템을 개발한다.
• 지도 및 비지도 기계 학습 기법을 활용해 위협 탐지의 효율성과 정확도를 향상시킨다.
• 비정형 보안 포럼 데이터의 주제 모델링을 통해 새로운 사이버 위협을 조기에 식별할 수 있도록 한다.

제안 방법

• 실제 해커 포럼에서 데이터를 수집하여 이진(위협 대 비위협) 및 다중 클래스(분류된 위협) 레이블이 부여된 두 가지 데이터셋을 구성한다.
• 전통적인 기계 학습 모델과 딥 뉴럴 네트워크를 포함한 여러 지도 학습 분류기를 적용하여 위협 콘텐츠를 분류한다.
• 숨겨진 위협 주제를 발견하기 위해 잠재적 디리히레 분포(LDA)와 비음수 행렬 분해(NMF)를 활용한 비지도 주제 모델링을 수행한다.
• 레이블이 부여된 泄密된 데이터셋을 기준으로 모델 성능을 평가하여 분류 정확도를 검증한다.
• 분류 및 주제 모델링을 융합하여 비정형 텍스트 소스에서 실질적인 사이버 위협 지능을 생성한다.
• 표준 자연어 처리(NLP) 전처리 및 임bedding 기법을 활용해 분류 및 주제 모델링 작업을 위한 텍스트 데이터를 준비한다.

실험 결과

연구 질문

• RQ1 다양한 지도 학습 분류기가 해커 포럼 논의 내 사이버 위협 관련 콘텐츠와 비위협 콘텐츠를 얼마나 효과적으로 구분하는가?
• RQ2 LDA 및 NMF와 같은 주제 모델링 기법이 비정형 포럼 데이터에서 의미 있고 실용적인 위협 카테고리들을 얼마나 잘 드러내는가?
• RQ3 분류 및 주제 모델링의 통합이 생성된 사이버 위협 지능의 총체적 품질과 유용성을 어떻게 향상시키는가?
• RQ4 딥 러닝 기반 분류기가 포럼 텍스트에서 사이버 위협을 탐지할 때 기존 모델 대비 성능이 어떻게 되는가?
• RQ5 기준으로 사용된 보류된 레이블이 부여된 데이터셋에서 모델의 일반화 성능은 얼마나 우수한가?

주요 결과

• 제안된 프레임워크는 이진 및 다중 클래스 데이터셋 모두에서 높은 분류 정확도를 달성했으며, 딥 뉴럴 네트워크 모델이 기존 분류기보다 뛰어난 성능을 보였다.
• LDA와 NMF는 악성코드 유포 및 제로데이 공격 논의와 같은 일관되고 의미 있는 위협 주제를 성공적으로 식별했다.
• 다중 클래스 분류 모델은 위협을 구체적인 유형으로 분류하는 데 뛰어난 성능을 보여, 보다 세분화된 위협 지능을 가능하게 했다.
• 주제 모델링과 분류의 융합은 특정 주제 군집과 연결된 탐지된 위협을 이해하기 쉽게 만들어 해석 가능성을 향상시켰다.
• 레이블이 부여된 泄密된 데이터셋을 기준으로 한 결과, 모델 예측의 신뢰성과 타당성이 확인되었다.
• 특히 고유한 위협 카테고리 식별에 있어, NMF가 LDA보다 더 높은 주제 일관성과 해석 가능성 보였다.