[논문 리뷰] Analyzing the Perceived Severity of Cybersecurity Threats Reported on Social Media

Shi Zong, Alan Ritter외 2명|arXiv (Cornell University)|2019. 02. 27.

Spam and Phishing Detection참고 문헌 24인용 수 8

한 줄 요약

이 논문은 수작업으로 레이블링된 6,000개의 트윗 코퍼스를 사용하여 소셜 미디어 트윗에서 보안 위협의 인식된 심각도를 자동으로 분류하는 자연어 처리 접근법을 제안한다. 이는 공식 NVD 발표 이전에 고심각도 취약성을 예측할 때 Precision@50가 0.86에 도달하며 트윗 수 기반 기준보다 유의하게 뛰어나며, 온라인 사용자 의견이 실제 세계의 악용을 예측할 수 있음을 보여준다.

ABSTRACT

Breaking cybersecurity events are shared across a range of websites, including security blogs (FireEye, Kaspersky, etc.), in addition to social media platforms such as Facebook and Twitter. In this paper, we investigate methods to analyze the severity of cybersecurity threats based on the language that is used to describe them online. A corpus of 6,000 tweets describing software vulnerabilities is annotated with authors' opinions toward their severity. We show that our corpus supports the development of automatic classifiers with high precision for this task. Furthermore, we demonstrate the value of analyzing users' opinions about the severity of threats reported online as an early indicator of important software vulnerabilities. We present a simple, yet effective method for linking software vulnerabilities reported in tweets to Common Vulnerabilities and Exposures (CVEs) in the National Vulnerability Database (NVD). Using our predicted severity scores, we show that it is possible to achieve a Precision@50 of 0.86 when forecasting high severity vulnerabilities, significantly outperforming a baseline that is based on tweet volume. Finally we show how reports of severe vulnerabilities online are predictive of real-world exploits.

연구 동기 및 목표

• 자연어 처리 기법이 소셜 미디어에 게재된 보안 위협의 인식된 심각도를 효과적으로 분석할 수 있는지 조사하기 위해.
• 트윗의 언어적 특징을 기반으로 심각한 취약성을 식별하는 고정밀도 자동 분류기 개발을 위해.
• URL 기반 CVE 추출을 통해 트윗에서 소프트웨어 취약성 논의를 국립취약점데이터베이스(NVD)의 공식 CVE 항목과 연결하기 위해.
• 온라인 사용자들이 인식하는 위협 심각도가 전문가가 발표한 CVSS 점수와 실제 세계의 악용 활동과 얼마나 관련이 있는지 평가하기 위해.
• 역사적 성과를 바탕으로 신뢰할 수 있는 경고를 지속적으로 제공하는 트위터 계정을 특정하기 위해.

제안 방법

• 트윗의 인식된 심각도를 두 단계의 공감 레이블링 프로세스(각 트윗당 5명 및 10명의 평가자)를 사용하여 6,000개의 트윗을 수작업으로 레이블링한다.
• 트윗 내용의 언어적 특징을 기반으로 인식된 심각도를 예측하기 위해 레이블링된 코퍼스를 기반으로 지도 학습 텍스트 분류 모델을 훈련시킨다.
• 트윗에 포함된 URL에서 CVE 식별자를 추출하여 트윗을 NVD의 CVE에 매핑하는 방법을 개발한다.
• 심각도 분류기를 사용하여 트윗의 언어적 콘텐츠 기반으로 취약성을 심각도 순으로 순위 매기고, 공식 CVSS 점수 및 실제 세계의 악용 데이터와의 성능을 평가한다.
• 실제로 발생한 악용 데이터와 비교하여 예측 성능을 평가하기 위해 상위-k 순위(예: 상위 50개)에서 정밀도와 재현율 지표를 적용한다.
• 기본 모델인 트윗 수 기반 예측과의 성능 비교를 위해 지표를 활용한다.
• 기본 모델은 트윗 수에 기반한 예측 성능을 비교한다.
• 정확도 기준으로 높은 성능을 보인 트위터 계정을 특정하기 위해 실제 CVSS 점수 및 악용 데이터와의 예측 성능을 평가한다.

실험 결과

연구 질문

• RQ1 자연어 처리 기법은 소셜 미디어 게시물에서 표현된 보안 위협의 인식된 심각도를 정확하게 분류할 수 있는가?
• RQ2 사용자들이 온라인에서 위협 심각도에 대해 가지는 의견은 NVD의 공식 CVSS 점수와 얼마나 일치하는가?
• RQ3 소셜 미디어 콘텐츠에서의 인식된 심각도는 실제로 악용되는 취약성을 조기에 예측할 수 있는 지표가 될 수 있는가?
• RQ4 언어적 콘텐츠 기반의 심각도 분류기와 트윗 수에만 의존하는 기본 모델 간에 고심각도 위협 예측 성능는 어떻게 비교되는가?
• RQ5 어떤 트위터 계정들이 끊임없이 신뢰할 수 있는 경고를 제공하는가? 그리고 이러한 신뢰성은 정량적으로 평가할 수 있는가?

주요 결과

• 제안된 모델은 고심각도 취약성을 예측할 때 Precision@50가 0.86에 도달하며, 트윗 수 기반 기준보다 유의미하게 뛰어나다.
• 모델이 심각하다고 예측한 상위 10개의 취약성 중 7개가 나중에 실제로 악용된 것으로 확인되었으며, 반면 실제 CVSS 점수로 순위 매겨진 상위 10개 중에는 단 1개만 악용된 것으로 확인되었다.
• 모델의 심각도 예측은 시만텍 바이러스 서명 및 Exploit-DB 항목을 통해 측정된 실제 세계의 악용 활동과 높은 상관관계를 보였다.
• @securityaffairs, @EduardKovacs, @jburnsconsult 등의 계정은 고심각도 위협 예측에서 100% 정확도를 기록하여 높은 신뢰성을 보였다.
• 심각도 레이블이 부여된 6,000개 트윗의 레이블링 코퍼스는 위협 심각도 인식에 대한 고정밀도 자동 분류기 개발을 지원한다.
• URL에서 추출한 식별자를 통해 트윗을 NVD CVE에 연결하는 방법은 대규모 분석에 효과적이고 확장 가능하다.