[論文レビュー] Cyber-Attack Consequence Prediction

Prerit Datta, Natalie R. Lodinger+2 more|arXiv (Cornell University)|Dec 1, 2020

Network Security and Intrusion Detection参考文献 18被引用数 5

ひとこと要約

この論文は、自然言語処理（NLP）およびベクトル化技術を用いて、新規サイバー攻撃の技術的および非技術的影響を予測する機械学習手法を提案する。93件の攻撃を含む独自のデータセットを用いて訓練したモデルは、tf-idf特徴量とLinearSVCを用いて60%の精度を達成し、セキュリティアナリストの認知的負荷を軽減し、攻撃の影響について非技術的ステークホルダーへの説明を改善する可能性を示している。

ABSTRACT

Cyber-physical systems posit a complex number of security challenges due to interconnection of heterogeneous devices having limited processing, communication, and power capabilities. Additionally, the conglomeration of both physical and cyber-space further makes it difficult to devise a single security plan spanning both these spaces. Cyber-security researchers are often overloaded with a variety of cyber-alerts on a daily basis many of which turn out to be false positives. In this paper, we use machine learning and natural language processing techniques to predict the consequences of cyberattacks. The idea is to enable security researchers to have tools at their disposal that makes it easier to communicate the attack consequences with various stakeholders who may have little to no cybersecurity expertise. Additionally, with the proposed approach researchers' cognitive load can be reduced by automatically predicting the consequences of attacks in case new attacks are discovered. We compare the performance through various machine learning models employing word vectors obtained using both tf-idf and Doc2Vec models. In our experiments, an accuracy of 60% was obtained using tf-idf features and 57% using Doc2Vec method for models based on LinearSVC model.

研究の動機と目的

• 大量のサイバー警告にさらされるセキュリティアナリストの認知的負荷を軽減すること。
• 攻撃の影響を一般向けに説明できるようにするため、非技術的影響を予測することで、非技術的ステークホルダーとの効果的なコミュニケーションを可能にすること。
• テキスト記述に基づいて、未知の攻撃の影響を予測する機械学習モデルの開発。
• サイバーフィジカルシステムにおける影響予測の文脈で、異なるNLPおよび機械学習手法のパフォーマンスを評価すること。
• サイバー攻撃の技術的および非技術的影響をアノテートした、公開可能なデータセットの作成およびリリース。

提案手法

• 技術的および非技術的影響がアノテートされた、93件の多様なサイバー攻撃のテキスト記述を含む独自のデータセットを構築した。
• テキスト記述を数値特徴量に変換するために、tf-idfおよびDoc2Vecを用いて単語のベクトル化を実施した。
• ベクトル化されたデータ上で、LinearSVC、ロジスティック回帰、マルチレイヤーパーセプトロン、ランダムフォレストなどの複数の機械学習分類器を訓練した。
• データセットのクラス不均衡に対処するため、訓練・テスト分割時にストラティファイドサンプリングを適用した。
• 標準指標（正確性、適合率、再現率、F1スコア）を用いてモデルのパフォーマンスを評価した。
• tf-idfおよびDoc2Vecの両特徴量セットにおいて、LinearSVCが最も優れたパフォーマンスを示したため、最終的にこれを採用した。

実験結果

リサーチクエスチョン

• RQ1 テキスト記述に基づいて、機械学習モデルは新規サイバー攻撃の非技術的影響を正確に予測できるか？
• RQ2 tf-idfとDoc2Vecという異なるNLP埋め込み手法は、影響予測モデルのパフォーマンスにどのように影響するか？
• RQ3 サイバー攻撃記述の文脈において、どの機械学習分類器がマルチクラスの影響予測で最も優れた性能を示すか？
• RQ4 データセットのクラス不均衡はモデルのパフォーマンスにどの程度影響を及ぼし、どのように緩和できるか？
• RQ5 訓練時に見られなかった新しい攻撃に、モデルは一般化可能であり、自動的な影響評価を可能にするか？

主な発見

• tf-idf特徴量を用いたLinearSVCモデルが60%の最高精度を達成し、他のモデルおよびDoc2Vecベースのアプローチを上回った。
• Doc2VecベースのモデルはLinearSVCを用いて57%の精度を達成し、この文脈では語句頻度に基づく特徴量（tf-idf）がわずかに意味的埋め込み（Doc2Vec）を上回った。
• ランダムフォレスト分類器は両特徴量セットで低性能を示し、精度はtf-idfで40%、Doc2Vecで42%に低下した。これは、木ベースのアンサンブル手法が多様なサイバー攻撃記述をモデル化する際に困難を伴う可能性を示唆している。
• 最高パフォーマンスのモデル（tf-idf特徴量を用いたLinearSVC）のF1スコアは0.53であり、適合率と再現率のバランスが中程度であることを示している。
• やや低い精度ではあるが、小規模かつ不均衡なデータセットを考慮すると、この結果は自動影響予測への第一歩として前向きな兆しなのである。
• ハイパーパramータチューニング、より深いニューラルネットワーク（例：CNN、RNN）、次元削減技術（例：PCAやオートエンコーダー）を用いることで、さらなる改善が期待できると示唆された。