[論文レビュー] Generating Informative CVE Description From ExploitDB Posts by Extractive Summarization

Jiamou Sun, Zhenchang Xing+5 more|arXiv (Cornell University)|Jan 5, 2021

Web Application Security Vulnerabilities参考文献 46被引用数 15

ひとこと要約

本論文では、冗長でノイズが多いExploitDB投稿から、正確でテンプレート準拠のCVE記述を自動生成する抽出的要約手法を提案する。自然言語処理技術を用い、製品、脆弱性タイプ、攻撃ベクトルなど9つの主要な脆弱性側面を抽出することで、ROUGE-Lスコア0.38を達成する高品質なCVE記述を生成する。これは、脆弱性のタイムリーかつ一貫性のある文書化を顕著に支援する。

ABSTRACT

ExploitDB is one of the important public websites, which contributes a large number of vulnerabilities to official CVE database. Over 60\% of these vulnerabilities have high- or critical-security risks. Unfortunately, over 73\% of exploits appear publicly earlier than the corresponding CVEs, and about 40\% of exploits do not even have CVEs. To assist in documenting CVEs for the ExploitDB posts, we propose an open information method to extract 9 key vulnerability aspects (vulnerable product/version/component, vulnerability type, vendor, attacker type, root cause, attack vector and impact) from the verbose and noisy ExploitDB posts. The extracted aspects from an ExploitDB post are then composed into a CVE description according to the suggested CVE description templates, which is must-provided information for requesting new CVEs. Through the evaluation on 13,017 manually labeled sentences and the statistically sampling of 3,456 extracted aspects, we confirm the high accuracy of our extraction method. Compared with 27,230 reference CVE descriptions. Our composed CVE descriptions achieve high ROUGH-L (0.38), a longest common subsequence based metric for evaluating text summarization methods.

研究の動機と目的

• ExploitDBに公開された脆弱性について、73%以上が公式CVEより前に公開されており、約40%はCVEが完全に欠落しているなど、タイムリーかつ完全なCVE文書化の重大なギャップを解消すること。
• 未構造化でノイズの多い脆弱性投稿から、構造的かつ情報豊富なCVE記述の要素を自動で抽出し、CVEリクエストプロセスを支援する手法を開発すること。
• 脆弱性投稿と対応するCVEエントリとの間の差異を特定・是正することで、CVEメタデータの整合性と正確性を確保すること。
• 自由なテキストの脆弱性記述から複雑な脆弱性側面を抽出する点で、既存手法を上回るスケーラブルな機械学習ベースのソリューションを構築すること。

提案手法

• 脆弱な製品、バージョン、コンponentなどのソフトウェア固有エンティティを抽出するために、名前付きエンティティ認識（NER）を適用する。
• 未構造化テキストから根本原因、攻撃ベクトル、影響、脆弱性タイプなどの複雑な節を特定・抽出するために、質問応答（QA）技術を用いる。
• 標準化されたCVE記述テンプレートに従って抽出された側面を構造化することで、最終的なCVE記述を構成する。
• モデルの学習と評価に、13,017文の手動ラベル付きデータセットと、3,456の抽出された側面を含む統計的サンプリングセットを活用する。
• 生成されたCVE記述の品質を、27,230件の参照CVE記述と比較して評価する主な指標として、ROUGE-Lを採用する。
• 不整合を検出するためのジャーナルボットを設計し、攻撃ベクトルや脆弱性タイプの不一致など、脆弱性投稿と公式CVEとの間の不整合を是正する。

実験結果

リサーチクエスチョン

• RQ1 NLP技術を用いて、ノイズが多く未構造化されたExploitDB投稿から、主要な脆弱性側面をどれほど正確に抽出できるか。
• RQ2 提案された抽出的要約手法は、公式CVE記述テンプレートに適合するCVE記述をどれほど適切に生成できるか。
• RQ3 参照CVE記述と比較した場合、本手法のROUGE-Lスコアはどの程度の性能を示すか。
• RQ4 脆弱性投稿と対応するCVEエントリとの間に、どれほど多くの不整合が存在し、それらを体系的に検出・是正できるか。
• RQ5 本手法は、コミュニティが提供する脆弱性のためのCVE文書化の自動化を効果的に支援できるか。

主な発見

• 生成されたCVE記述を27,230件の参照記述と比較した結果、本手法はROUGE-Lスコア0.38を達成し、優れた要約品質を示している。
• 製品、バージョン、脆弱性タイプ、攻撃ベクトルなど9つの主要な脆弱性側面の抽出は、13,017件の手動ラベル付き文の評価を通じて高い正確性を確認した。
• ExploitDB上に公開された脆弱性の73%以上が、公式CVEより前に公開されており、約40%はCVEエントリが完全に欠落している。これは、自動文書化支援の緊急性を示している。
• 脆弱性投稿と公式CVEとの間に不整合が顕著に存在する（例：攻撃ベクトルや脆弱性タイプの不一致）。これは、自動是正の必要性を裏付けている。
• 特に、ソフトウェアセキュリティテキストに特化したNERとQA技術の組み合わせにより、既存手法を上回る複雑な脆弱性節の抽出性能を達成した。
• 本手法により、脆弱性提出における欠落または不整合な側面を提案するジャーナルボットの開発が可能となり、脆弱性データベース全体のデータ品質と一貫性が向上した。