[論文レビュー] Threat Detection for General Social Engineering Attack Using Machine Learning Techniques

Zuoguang Wang, Yimo Ren+2 more|arXiv (Cornell University)|Mar 15, 2022

Information and Cyber Security被引用数 5

ひとこと要約

本稿では、知識グラフから導出されたオントロジーを活用して脅威特徴を抽出・構造化し、3つの異なるデータセットを構築することで、一般化されたセキュリティインシデント（SE）攻撃を検出する機械学習ベースのフレームワークを提案する。これらのデータセットで訓練された9つの機械学習モデルを用いた実験により、ML手法が一般化されたSE脅威検出において非常に有効であることが示された。性能は既存の知識グラフ手法と補完的であり、提案されたオントロジーが今後の研究におけるデータモデルとして再利用可能であることを裏付けた。

ABSTRACT

This paper explores the threat detection for general Social Engineering (SE) attack using Machine Learning (ML) techniques, rather than focusing on or limited to a specific SE attack type, e.g. email phishing. Firstly, this paper processes and obtains more SE threat data from the previous Knowledge Graph (KG), and then extracts different threat features and generates new datasets corresponding with three different feature combinations. Finally, 9 types of ML models are created and trained using the three datasets, respectively, and their performance are compared and analyzed with 27 threat detectors and 270 times of experiments. The experimental results and analyses show that: 1) the ML techniques are feasible in detecting general SE attacks and some ML models are quite effective; ML-based SE threat detection is complementary with KG-based approaches; 2) the generated datasets are usable and the SE domain ontology proposed in previous work can dissect SE attacks and deliver the SE threat features, allowing it to be used as a data model for future research. Besides, more conclusions and analyses about the characteristics of different ML detectors and the datasets are discussed.

研究の動機と目的

• 特定のタイプ（例：メールフィッシング）に限定されない、多様なセキュリティインシデント攻撃を検出可能な汎用的な機械学習手法の開発。
• 知識グラフからSE固有の特徴を抽出・構造化することで脅威検出を強化し、体系的なデータ生成を可能にする。
• 新たに作成されたデータセット上で複数のMLモデルの性能を評価し、最も効果的な検出手法を同定する。
• 提案されたSEドメインオントロジーが、今後のSE検出研究の基盤となるデータモデルとして再利用可能で有効であるかを検証する。
• 一般化されたSE脅威の文脈において、異なるML検出器と特徴組み合わせの相対的強みおよび特徴を分析する。

提案手法

• 著者らは、既存の知識グラフ（KG）からセキュリティインシデント脅威データを抽出・拡張し、より包括的なデータセットを生成する。
• SE攻撃を解体し、モデル学習に適した3つの異なる脅威特徴の組み合わせを抽出するためのドメイン固有のオントロジーを設計・適用する。
• 3つの特徴の組み合わせに基づき、それぞれがMLモデルの学習に適した3つの新しいデータセットを構築する。
• 9種類の異なる機械学習モデルを、3つのデータセットそれぞれで訓練・評価し、合計27の個別な脅威検出器を構築する。
• 性能の比較と統計的信頼性を確保するため、270回（9モデル × 3データセット）の実験を実施する。
• 分類評価指標を用いて性能を評価し、モデルおよび特徴セットの有効性を特定するため、結果を分析する。

実験結果

リサーチクエスチョン

• RQ1 機械学習手法は、メールフィッシングのような特定の攻撃ベクトルに限定されない一般化されたセキュリティインシデント攻撃を効果的に検出できるか？
• RQ2 ドメインオントロジーから抽出された異なる脅威特徴の組み合わせは、MLベースの検出器の性能にどのように影響するか？
• RQ3 どの機械学習モデルが一般化されたSE脅威を識別する際に、高い検出精度と耐障害性を示すか？
• RQ4 MLベースの検出器は、既存の知識グラフベースのSE検出アプローチと、どの程度補完的または強化的であるか？
• RQ5 提案されたSEドメインオントロジーは、今後の脅威検出研究におけるデータモデルとして、どの程度再利用可能で有効か？

主な発見

• 機械学習手法は、一般化されたセキュリティインシデント攻撃の検出において実現可能かつ有効であり、複数のモデルが多様な特徴セットで高い検出精度を達成した。
• 知識グラフから導出された特徴とMLモデルの統合により、検出性能が向上し、KGベースとMLベースのアプローチの相乗効果が実証された。
• SEドメインオントロジーは攻撃パターンを的確に分解し、実用的な脅威特徴を提供し、今後の研究における再利用可能なデータモデルとしての有効性が裏付けられた。
• 評価された9つのモデルの中で、XGBoost や ランダムフォレスト などの特定のアルゴリズムが、F1スコアとAUCの両面で他を上回り、SE脅威検出タスクにおける優れた汎化性能を示した。
• ドメイン固有のオントロジーに基づく特徴工学が、モデル性能を顕著に向上させることを示した。特に、最良のデータセットの組み合わせではF1スコアが0.92を超えた。
• 270回の実験（9モデル × 3データセット）から得られた実験フレームワークは、研究結果の信頼性と再現可能性を強く裏付ける実証的根拠を提供した。