[論文レビュー] From Threat Reports to Continuous Threat Intelligence: A Comparison of Attack Technique Extraction Methods from Textual Artifacts

Md Rayhanur Rahman, Laurie Williams|arXiv (Cornell University)|Oct 5, 2022

Cybercrime and Law Enforcement Studies被引用数 4

ひとこと要約

本研究では、TF-IDF や LSI などの NLP 技術を用いて、サイバーセキュリティ脅威レポートからのテキストベースの TTP（戦術、手法、手順）抽出手法を評価・比較する。TF-IDF と LSI が最高の F1 スコア（それぞれ 84% と 83%）を達成した。また、不均衡データセットにおける性能向上のため、オーバーサンプリングが有効であることを示し、オープンソースのコードとデータセットを提供することで、今後の TTP 抽出研究のベンチマークを提供する。

ABSTRACT

The cyberthreat landscape is continuously evolving. Hence, continuous monitoring and sharing of threat intelligence have become a priority for organizations. Threat reports, published by cybersecurity vendors, contain detailed descriptions of attack Tactics, Techniques, and Procedures (TTP) written in an unstructured text format. Extracting TTP from these reports aids cybersecurity practitioners and researchers learn and adapt to evolving attacks and in planning threat mitigation. Researchers have proposed TTP extraction methods in the literature, however, not all of these proposed methods are compared to one another or to a baseline. extit{The goal of this study is to aid cybersecurity researchers and practitioners choose attack technique extraction methods for monitoring and sharing threat intelligence by comparing the underlying methods from the TTP extraction studies in the literature.} In this work, we identify ten existing TTP extraction studies from the literature and implement five methods from the ten studies. We find two methods, based on Term Frequency-Inverse Document Frequency(TFIDF) and Latent Semantic Indexing (LSI), outperform the other three methods with a F1 score of 84\% and 83\%, respectively. We observe the performance of all methods in F1 score drops in the case of increasing the class labels exponentially. We also implement and evaluate an oversampling strategy to mitigate class imbalance issues. Furthermore, oversampling improves the classification performance of TTP extraction. We provide recommendations from our findings for future cybersecurity researchers, such as the construction of a benchmark dataset from a large corpus; and the selection of textual features of TTP. Our work, along with the dataset and implementation source code, can work as a baseline for cybersecurity researchers to test and compare the performance of future TTP extraction methods.

研究の動機と目的

• サイバーセキュリティ脅威レポートからの既存の TTP 抽出手法の性能を比較し、実務家や研究者が手法選定に役立てるため。
• クラスの不均衡やラベル数の増加が TTP 分類性能に与える影響を評価するため。
• 不均衡データセットに起因する性能低下を緩和するためのオーバーサンプリング技術の有効性を検証するため。
• 5 つの代表的手法を実装・評価することで、今後の TTP 抽出研究の再現可能なベンチマークを確立するため。
• TTP 抽出タスクにおける特徴量選択とモデルチューニングのベストプラクティスを提言するため。

提案手法

• 本研究では、既存の文献から抽出した 5 つの TTP 抽出手法（M:LSI、M:TFIDF-NP、M:TFIDF、M:LIS-Co、M:BM25）を実装し、ATT&CK フレームワークを基準として用いる。
• 脅威レポートに記載された攻撃手順のテキスト記述を、TF-IDF や LSI などの NLP ベースの特徴抽出技術を用いて、数値的表現に変換する。
• 6 つの分類器をデフォルトのハイパーパrameterで適用し、異なる手法における分類性能を評価する。
• データセットのクラス不均衡を是正するために、数値的テキスト特徴量に合成的オーバーサンプリング手法（SMOTE）を適用する。
• 脅威の状況が変化するのを模倣するため、分類ラベル数（すなわち TTP クラス数）を増加させた状況での性能を評価する。
• 脅威レポートから構築したベンチマークデータセットを提供し、すべての実装とコードを GitHub で公開する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 異なる分類器を用いた場合、TTP 抽出手法は攻撃手順のテキスト記述を攻撃手法に分類する性能においてどのように異なるか？
• RQ2 RQ2: クラス不均衡は TTP 抽出手法の性能にどのように影響するか？また、オーバーサンプリングは分類結果を改善するか？
• RQ3 RQ3: 分類ラベル数が増加するにつれて、TTP 抽出手法の性能はどのように低下するか？
• RQ4 RQ4: TTP 分類に最も効果的なテキスト特徴量は何か？今後の特徴量工学にどのような示唆があるか？

主な発見

• TF-IDF および LSI を用いた手法が、それぞれ 84% と 83% の最高の F1 スコアを達成し、他の手法を上回った。
• すべての手法において、分類ラベル数が増加するにつれて性能が低下した。これは、TTP 分類体系の拡大に伴うスケーラビリティの課題を示している。
• SMOTE を用いたオーバーサンプリングにより、不均衡データセットにおけるマジョリティクラスへのバイアスが軽減され、分類性能が向上した。
• 本研究では、TF-IDF が TTP 分類において最も顕著な特徴量であると特定され、今後の特徴量工学において優先的に活用すべきであると示唆された。
• 研究者らは、標準化されたベンチマークデータセットの構築とハイパーパrameterチューニングの実施を提言している。
• 本研究で実装した 5 つの手法すべてのデータセットとソースコードは公開されており、再現性と今後の手法比較を可能としている。