[論文レビュー] A Framework for Unsupervised Classificiation and Data Mining of Tweets about Cyber Vulnerabilities

Kenneth Alperin, Emily Joback+2 more|arXiv (Cornell University)|Apr 23, 2021

Information and Cyber Security参考文献 20被引用数 7

ひとこと要約

本稿では、ラベルなしで学習データを必要としないゼロショットBART分類を用いて、サイバー脆弱性に関するツイートの分類とマイニングを行う非教師付きフレームワークを提示している。83.52%の正確性を達成した。ツイート数（CVEご）が、従来のリスクスコアリングで見過ごされがちな、高影響度で低CVSS脆弱性を明らかにし、NVDベースのツールにおけるリアルタイム脅威インテリジェンスの拡張を可能にする。

ABSTRACT

Many cyber network defense tools rely on the National Vulnerability Database (NVD) to provide timely information on known vulnerabilities that exist within systems on a given network. However, recent studies have indicated that the NVD is not always up to date, with known vulnerabilities being discussed publicly on social media platforms, like Twitter and Reddit, months before they are published to the NVD. To that end, we present a framework for unsupervised classification to filter tweets for relevance to cyber security. We consider and evaluate two unsupervised machine learning techniques for inclusion in our framework, and show that zero-shot classification using a Bidirectional and Auto-Regressive Transformers (BART) model outperforms the other technique with 83.52% accuracy and a F1 score of 83.88, allowing for accurate filtering of tweets without human intervention or labelled data for training. Additionally, we discuss different insights that can be derived from these cyber-relevant tweets, such as trending topics of tweets and the counts of Twitter mentions for Common Vulnerabilities and Exposures (CVEs), that can be used in an alert or report to augment current NVD-based risk assessment tools.

研究の動機と目的

• 国家脆弱性データベース（NVD）の脆弱性公開遅延を是正すること。NVDは、Twitterなどのソーシャルメディア上の公的議論に比べてしばしば遅れる。
• ラベル付き学習データやモデルのファインチューニングを必要としない、非教師付き手法を用いてサイバー関連ツイートをフィルタリングすること。
• トレンドトピックやCVEの言及頻度といった、行動可能なインサイトをサイバー関連ツイートから抽出し、リアルタイムの状況認識を向上させること。
• ツイート数メトリクスが、低CVSS3スコアだが高い公的利用関心を示す脆弱性を優先順位付けできることを実証すること。
• リアルタイムのソーシャルメディアインテリジェンス（OSINT）を運用上のサイバーデフェンスワークフローに統合することで、現在のリスク評価ツールを拡張すること。

提案手法

• 事前学習済みの言語モデルBARTを用いたゼロショット分類を採用し、ラベルなしでサイバー関連ツイートを特定する。
• 関連性フィルタリングにおいて、TF-IDFとコサイン類似度に基づく伝統的な非教師付き手法と、BARTゼロショットアプローチを比較した。
• Twitterから「vulnerability」という語を含むツイートのデータセットを収集・整備し、CVE IDへの依存を排除した。
• 名前付きエンティティ認識を用いて関連ツイートからCVEを抽出し、既知の脆弱性記録に紐付けた。
• 時間経過に伴うCVEごのツイート数を計算し、公開の関心度や実際の利用可能性（エクスプロイタビリティ）を測定した。
• ツイート数とCVSS3スコアの相関を分析し、ソーシャルメディアの会話の予測的価値を評価した。

実験結果

リサーチクエスチョン

• RQ1 BARTのような事前学習済み言語モデルを用いたゼロショット分類は、ラベルなしの学習データなしで、サイバー関連ツイートを正確に特定できるか？
• RQ2 TF-IDFに基づく伝統的な非教師付き手法と比較して、ゼロショットBARTの性能はどの程度か？
• RQ3 CVEごのツイート数が、特に低CVSS3脆弱性において、エクスプロイタビリティや公的脅威関心の代理指標としてどの程度有効か？
• RQ4 ソーシャルメディアデータは、NVDベースのリスクスコアリングシステム（例：CVSS3）が見過ごす高影響度の脆弱性を特定できるか？
• RQ5 サイバー関連ツイートのリアルタイムマイニングは、状況認識をどのように向上させ、運用上のサイバーデフェンスツールを支援できるか？

主な発見

• ゼロショットBART分類器は、サイバー関連ツイートの識別において83.52%の正確性と83.88のF1スコアを達成し、TF-IDFベースラインを上回った。
• BARTモデルは、ラベルなしデータやモデルのファインチューニングを一切必要とせず、スケーラブルな展開を可能にした。
• ツイート数とCVSS3スコアの間には相関係数0.04が認められ、相関がないことを示唆しており、ツイートの件数がCVSS3とは異なる脅威信号を捉えていることがわかる。
• CVSS3スコアが3.1と低いCVE-2019-15126（KR00K）は、5番目に多く言及されており、広範な公的議論と実世界での利用が確認された。
• ツイート数メトリクスは、CVSS3ベースのリスクモデルが低優先順位とする、高影響度かつ実際の公開利用が確認された脆弱性を的確に特定した。
• 本フレームワークにより、NVDの公開前または同時にソーシャルメディアの会話から新たな脅威を検出することで、リアルタイムの状況認識が可能になった。