[論文レビュー] Automated Mapping of CVE Vulnerability Records to MITRE CWE Weaknesses

Ashraf Haddad, Najwa Aaraj+2 more|arXiv (Cornell University)|Apr 13, 2023

Network Security and Intrusion Detection被引用数 5

ひとこと要約

本稿では、NLPを用いてCVE脆弱性記録をMITRE CWE弱みに自動マッピングするためのヒューマンインザループフレームワークを提案し、4,012件の手動アノテーション済み記録からなる新しいデータセットを公開する。微調整されたSBERTおよびrankT5モデルが、BM25、BERT、RoBERTaよりも顕著に優れた性能を示した。これは、脆弱性分類タスクにおいて深い文脈理解が不可欠であることを示している。

ABSTRACT

In recent years, a proliferation of cyber-security threats and diversity has been on the rise culminating in an increase in their reporting and analysis. To counter that, many non-profit organizations have emerged in this domain, such as MITRE and OSWAP, which have been actively tracking vulnerabilities, and publishing defense recommendations in standardized formats. As producing data in such formats manually is very time-consuming, there have been some proposals to automate the process. Unfortunately, a major obstacle to adopting supervised machine learning for this problem has been the lack of publicly available specialized datasets. Here, we aim to bridge this gap. In particular, we focus on mapping CVE records into MITRE CWE Weaknesses, and we release to the research community a manually annotated dataset of 4,012 records for this task. With a human-in-the-loop framework in mind, we approach the problem as a ranking task and aim to incorporate reinforced learning to make use of the human feedback in future work. Our experimental results using fine-tuned deep learning models, namely Sentence-BERT and rankT5, show sizable performance gains over BM25, BERT, and RoBERTa, which demonstrates the need for an architecture capable of good semantic understanding for this task.

研究の動機と目的

• CVE記録をMITRE CWE弱みにマッピングするための、公開可能で専用化されたデータセットの不足に対処すること。
• ヒューマンアナリストが標準化されたCWEタイプで脆弱性をラベリングすることを支援する、自動化されたAI支援フレームワークを開発すること。
• 反復的なモデルパフォーマンス向上を実現するため、人間からのフィードバックを用いた強化学習（RLHF）の活用を検討すること。
• 最新のディープラーニングモデルが、サイバーセキュリティテキストにおける意味的類似性およびランク付けタスクの有効性を評価すること。
• 今後の研究を支援するため、再現可能でオープンソースのデータセットおよびアノテーションパイプラインを公開すること。

提案手法

• CVE記録からMITRE CWE弱みにマッピングするタスクを、各CVE記述をCWEエントリのセットに対してランク付けする問題として定式化する。
• SBERTおよびrankT5モデルを微調整し、CVEおよびCWE記述間の意味的類似性を測定する。
• 語彙的マッチングに基づくベースライン検索モデルとしてBM25を用いる。
• 意味的類似性のベースラインとしてBERTおよびRoBERTaを評価するが、ランク付けタスクには最適でない設計であるため注意を要する。
• CVE記述からCWEラベルを直接生成するT5ベースのシーケンス・ツー・シーケンスモデルを訓練する。
• 将来の強化学習 from human feedback（RLHF）統合を支援するため、ヒューマンインザループフィードバックメカニズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、BM25のような従来のリtrieバル手法よりも、非構造的CVE記録を構造的MITRE CWE弱みにマッピングするタスクで優れたパフォーマンスを達成できるか？
• RQ2 SBERTやrankT5といったトランスフォーマー型モデルは、BERT や RoBERTa といった汎用モデルと比較して、この意味的ランク付けタスクでどのように異なるか？
• RQ3 T5ベースのシーケンス・ツー・シーケンスモデルは、CVE記述から直接正確なCWEラベルを生成できるか、その程度はどの程度か？
• RQ4 提案されたヒューマンインザループフレームワークは、モデルの専門家ラベリング意思決定との整合性向上にどの程度効果的か？
• RQ5 脆弱性記述と弱み記述間の意味的類似性をモデル化する際、モデルアーキテクチャの選択がパフォーマンスに与える影響はどの程度か？

主な発見

• 微調整されたSBERTが、すべてのモデルの中で最高のパフォーマンスを示し、文の類似度に特化した設計ゆえに、BM25、BERT、RoBERTaを顕著に上回った。
• rankT5モデルも強力なパフォーマンスを示し、このタスクに特化したランク付けアーキテクチャが有効であることを示した。
• T5ベースのシーケンス・ツー・シーケンスモデルは、生成されたCWEラベルでマクロ平均F1スコア0.51を達成し、クロスサイトスクリプティングなど頻度の高い脆弱性では0.96の高い正確性を示した。
• 以前に未確認のCWEタイプに対して、意味的ではあるが誤ったラベルを生成したが、これは生成能力は備えているものの、希少ラベルではF1スコアが0であったことを示している。
• 4,012件の手動アノテーション済みデータセットの公開により、サイバーセキュリティNLP研究における重要な空白が埋められ、今後のベンチマーク作成およびモデル学習が可能になった。
• 結果から、このタスクでは意味的理解が不可欠であることが確認された。語彙的マッチング（BM25）だけでは、正確なマッピングには不十分である。