[논문 리뷰] A Framework for Unsupervised Classificiation and Data Mining of Tweets about Cyber Vulnerabilities

Kenneth Alperin, Emily Joback외 2명|arXiv (Cornell University)|2021. 04. 23.

Information and Cyber Security참고 문헌 20인용 수 7

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 제로샷 BART 분류를 활용한 비지도 프레임워크를 제안하며, 83.52%의 정확도를 달성하여 사이버 취약성 트윗을 분류하고 채굴한다. 이는 전통적인 위험 평가 방식에서 간과된 고위험, 저CVSS 취약성을 폭로하는 데 기여하며, NVD 기반 도구의 실시간 위협 인텔리전스 보강을 가능하게 한다.

ABSTRACT

Many cyber network defense tools rely on the National Vulnerability Database (NVD) to provide timely information on known vulnerabilities that exist within systems on a given network. However, recent studies have indicated that the NVD is not always up to date, with known vulnerabilities being discussed publicly on social media platforms, like Twitter and Reddit, months before they are published to the NVD. To that end, we present a framework for unsupervised classification to filter tweets for relevance to cyber security. We consider and evaluate two unsupervised machine learning techniques for inclusion in our framework, and show that zero-shot classification using a Bidirectional and Auto-Regressive Transformers (BART) model outperforms the other technique with 83.52% accuracy and a F1 score of 83.88, allowing for accurate filtering of tweets without human intervention or labelled data for training. Additionally, we discuss different insights that can be derived from these cyber-relevant tweets, such as trending topics of tweets and the counts of Twitter mentions for Common Vulnerabilities and Exposures (CVEs), that can be used in an alert or report to augment current NVD-based risk assessment tools.

연구 동기 및 목표

• 국가취약성데이터베이스(NVD)에서 취약성 공개가 지연되는 문제를 해결하기 위해, 트위터와 같은 소셜미디어에서의 공개 논의보다 늦게 반영되는 현상을 해결하고자 한다.
• 레이블이 있는 학습 데이터나 모델 파인튜닝이 필요 없는 비지도 방법을 개발하여 사이버 관련 트윗을 필터링하고자 한다.
• 트렌드 주제나 CVE 언급 빈도와 같은 가용성 있는 인사이트를 추출하여 실시간 상황 인식 능력을 향상시키고자 한다.
• 낮은 CVSS3 점수를 가졌지만 높은 공개적 이용 관심을 보이는 취약성을 식별하기 위해 트윗 수 지표가 어떻게 활용될 수 있는지 보여주고자 한다.
• 실시간 소셜미디어 인텔리전스(_OSINT_)를 운영 사이버 방어 워크플로우에 통합하여 기존 위험 평가 도구를 확장하고자 한다.

제안 방법

• 레이블이 없는 데이터를 사용하여 사전 훈련된 BART 언어 모델을 활용한 제로샷 분류를 적용하여, 사이버 관련 트윗 여부를 판단한다.
• 관련성 필터링을 위한 기존 비지도 방법(예: TF-IDF 및 코사인 유사도 기반)과 BART 제로샷 접근 방식을 비교 분석한다.
• 트위터에서 'vulnerability'라는 단어를 포함한 트윗을 수집하고, CVE ID에 의존하지 않고 데이터셋을 구축하고 정제한다.
• 명명된 실체 인식을 사용하여 관련 트윗에서 CVE를 추출하고, 기존에 알려진 취약성 기록과 연결한다.
• 시간에 따라 CVE당 트윗 수를 계산하여 공개적 관심도 및 잠재적 악용 가능성 측정한다.
• 트윗 수와 CVSS3 점수 간의 상관관계를 분석하여 소셜미디어 대화의 예측 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 BART와 같은 사전 훈련된 언어 모델을 사용한 제로샷 분류가 레이블이 없는 학습 데이터 없이도 사이버 관련 트윗을 정확하게 식별할 수 있는가?
• RQ2 TF-IDF와 같은 기존 비지도 방법과 비교해 볼 때, 제로샷 BART의 성능은 사이버 취약성 트윗 필터링에서 어떻게 나타나는가?
• RQ3 CVE당 트윗 수가 낮은 CVSS3 점수를 가진 취약성에 대해 공개적 위협 관심도나 악용 가능성의 지표로 얼마나 유의미하게 활용될 수 있는가?
• RQ4 소셜미디어 데이터는 NVD 기반 위험 평가 시스템(예: CVSS3)이 간과하는 고위험 취약성을 드러낼 수 있는가?
• RQ5 실시간으로 사이버 관련 트윗을 채굴하는 것은 상황 인식 능력을 향상시키고 운영 사이버 방어 도구를 지원하는 데 어떻게 기여하는가?

주요 결과

• 제로샷 BART 분류기는 사이버 관련 트윗 식별에서 83.52%의 정확도와 83.88의 F1 스코어를 기록하며, TF-IDF 기반 베이스라인을 능가했다.
• BART 모델은 레이블이 없는 데이터나 모델 파인튜닝 없이도 관련 트윗을 성공적으로 필터링하여 확장 가능한 배포가 가능했다.
• 트윗 수와 CVSS3 점수 간 상관계수는 0.04로 나타나 상관관계가 없음을 시사하며, 트윗 수가 CVSS3와 다른 위협 신호를 반영하고 있음을 의미한다.
• CVSS3 점수가 3.1로 낮은 CVE-2019-15126(KR00K)는 다섯 번째로 많이 언급된 CVE로, 광범위한 공개 논의와 실제 악용 사례를 반영하고 있다.
• 트윗 수 지표는 CVSS3 기반 위험 모델이 우선순위를 낮출 수 있는 고위험, 공개적으로 악용된 취약성을 성공적으로 식별했다.
• 이 프레임워크는 NVD 발표 이전이나 동시에 발생하는 사회적 논의를 통해 실시간으로 신규 위협을 탐지함으로써 실시간 상황 인식을 가능하게 한다.