[論文レビュー] Analyzing the Perceived Severity of Cybersecurity Threats Reported on Social Media

Shi Zong, Alan Ritter+2 more|arXiv (Cornell University)|Feb 27, 2019

Spam and Phishing Detection参考文献 24被引用数 8

ひとこと要約

本論文は、手動でアノテートされた6,000件のツイートから成るコーパスを用いて、ソーシャルメディアのツイートにおけるサイバーセキュリティ脅威の認識された深刻度を自動的に分類する自然言語処理アプローチを提案する。本手法は、ツイートの投稿数に基づくベースラインと比較して顕著に優れた性能を示し、上位50件の深刻度の高い脆弱性を予測する際の精度（Precision@50）が0.86を達成した。また、オンラインユーザーの意見が現実世界の攻撃に予測可能であることを示している。

ABSTRACT

Breaking cybersecurity events are shared across a range of websites, including security blogs (FireEye, Kaspersky, etc.), in addition to social media platforms such as Facebook and Twitter. In this paper, we investigate methods to analyze the severity of cybersecurity threats based on the language that is used to describe them online. A corpus of 6,000 tweets describing software vulnerabilities is annotated with authors' opinions toward their severity. We show that our corpus supports the development of automatic classifiers with high precision for this task. Furthermore, we demonstrate the value of analyzing users' opinions about the severity of threats reported online as an early indicator of important software vulnerabilities. We present a simple, yet effective method for linking software vulnerabilities reported in tweets to Common Vulnerabilities and Exposures (CVEs) in the National Vulnerability Database (NVD). Using our predicted severity scores, we show that it is possible to achieve a Precision@50 of 0.86 when forecasting high severity vulnerabilities, significantly outperforming a baseline that is based on tweet volume. Finally we show how reports of severe vulnerabilities online are predictive of real-world exploits.

研究の動機と目的

• 自然言語処理が、ソーシャルメディアに投稿されたサイバーセキュリティ脅威のユーザーによる認識された深刻度を効果的に分析できるかどうかを調査すること。
• ツイート内の言語的特徴に基づいて、深刻度の高い脆弱性を特定する高精度な自動分類器を開発すること。
• ツイートに埋め込まれたURLからCVE識別子を抽出することで、ソフトウェア脆弱性を議論するツイートをNational Vulnerability Database (NVD) の公式CVEエントリに紐付ける手法を開発すること。
• オンラインユーザーの脅威深刻度に関する認識が、専門家が発行するCVSSスコアおよび現実世界の攻撃活動とどの程度相関するかを評価すること。
• 歴史的なパフォーマンスに基づいて、深刻度の高い脆弱性について正確な警告を発する信頼性の高いTwitterアカウントを特定すること。

提案手法

• ツイートの内容に含まれる言語的特徴に基づいて、ユーザーが認識する深刻度を2段階のコンSENSUSラベル付けプロセス（1つのツイートあたり5人および10人のラベルラー）を用いて手動でラベル付けした6,000件のツイートをアノテートすること。
• アノテート済みコーパス上で教師ありテキスト分類モデルを学習させ、ツイートの内容に含まれる言語的特徴に基づいて深刻度を予測する。
• ツイートに埋め込まれたURLからCVE識別子を抽出することで、NVDのCVEにツイートをマッピングする手法を開発すること。
• 深刻度分類器を用いて脆弱性を深刻度順にランク付けし、公式のCVSSスコアおよび現実世界の攻撃データと比較して性能を評価すること。
• ツイートの投稿数に基づくベースラインモデルと比較して、上位k件のランキング（例：上位50件）における精度と再現率を評価することで、予測性能を測定すること。
• 真のCVSSスコアおよび攻撃データと比較して、予測パフォーマンスを評価することで、高精度なTwitterアカウントを同定すること。

実験結果

リサーチクエスチョン

• RQ1 自然言語処理技術は、ソーシャルメディア投稿に表れるサイバーセキュリティ脅威の認識された深刻度を正確に分類できるか？
• RQ2 ユーザーのオンラインでの脅威深刻度に関する意見は、NVDの公式CVSSスコアとどの程度一致するか？
• RQ3 ソーシャルメディアのコンテンツから得られる深刻度の認識は、実際に攻撃が発生する脆弱性を早期に予測する指標として機能できるか？
• RQ4 言語的コンテンツに基づく深刻度分類器は、単にツイートの投稿数に依存するベースラインモデルと比較して、深刻度の高い脅威を予測する際にどの程度優れているか？
• RQ5 どのTwitterアカウントが一貫して信頼できる警告を発し、その信頼性を定量的に評価できるか？

主な発見

• 提案されたモデルは、上位50件の深刻度の高い脆弱性を予測する際のPrecision@50が0.86に達し、ツイートの投稿数に基づくベースラインと比較して顕著に優れた性能を示した。
• モデルが深刻度が高いと予測した上位10件の脆弱性のうち7件が、後に実際に攻撃が発生したことが確認された。一方、公式CVSSスコアで上位10位にランクされた脆弱性のうち実際に攻撃されたのはわずか1件であった。
• モデルの深刻度予測は、SymantecのウイルスシグネチャーやExploit-DBのエントリを用いて測定した現実世界の攻撃活動と強く相関していた。
• @securityaffairs、@EduardKovacs、@jburnsconsultなどのアカウントは、深刻な脅威を予測する際に100％の正確性を示し、高い信頼性を示した。
• 深刻度ラベルが付与された6,000件のツイートから成るアノテート済みコーパスは、脅威深刻度認識の高精度な自動分類器の開発を支援する。
• URLから抽出した識別子を用いてツイートをNVDのCVEにリンクする手法は、大規模な分析に適した効果的でスケーラブルな手法であることが実証された。