[論文レビュー] Machine Learning for Detecting Data Exfiltration: A Review

Bushra Sabir, Faheem Ullah+2 more|arXiv (Cornell University)|Dec 17, 2020

Advanced Malware Detection Techniques参考文献 127被引用数 13

ひとこと要約

本システマティックレビューでは、92件の機械学習（ML）ベースのデータ漏洩検出手法を分析し、データ駆動型と行動駆動型に分類し、主な特徴量、データセット、性能指標を特定した。行動駆動型モデルは、APTなど複雑な脅威を検出可能であるが、偽陽性率が高くなる傾向にあり、データ駆動型モデルは95％以上の正確性を達成するが、主にデータ漏洩の送信段階（例：C2、データトンネル）の検出に限定される。

ABSTRACT

Context: Research at the intersection of cybersecurity, Machine Learning (ML), and Software Engineering (SE) has recently taken significant steps in proposing countermeasures for detecting sophisticated data exfiltration attacks. It is important to systematically review and synthesize the ML-based data exfiltration countermeasures for building a body of knowledge on this important topic. Objective: This paper aims at systematically reviewing ML-based data exfiltration countermeasures to identify and classify ML approaches, feature engineering techniques, evaluation datasets, and performance metrics used for these countermeasures. This review also aims at identifying gaps in research on ML-based data exfiltration countermeasures. Method: We used a Systematic Literature Review (SLR) method to select and review {92} papers. Results: The review has enabled us to (a) classify the ML approaches used in the countermeasures into data-driven, and behaviour-driven approaches, (b) categorize features into six types: behavioural, content-based, statistical, syntactical, spatial and temporal, (c) classify the evaluation datasets into simulated, synthesized, and real datasets and (d) identify 11 performance measures used by these studies. Conclusion: We conclude that: (i) the integration of data-driven and behaviour-driven approaches should be explored; (ii) There is a need of developing high quality and large size evaluation datasets; (iii) Incremental ML model training should be incorporated in countermeasures; (iv) resilience to adversarial learning should be considered and explored during the development of countermeasures to avoid poisoning attacks; and (v) the use of automated feature engineering should be encouraged for efficiently detecting data exfiltration attacks.

研究の動機と目的

• データ漏洩攻撃を検出するMLベースの対策を体系的にレビューし、要約すること。
• 既存の研究で用いられているMLアプローチ、特徴量工学手法、評価データセット、性能指標を分類すること。
• データセットの品質、モデルの頑健性、特徴量工学の実践に関する研究ギャップを特定すること。
• MLベースのデータ漏洩検出システムの改善に向けた実行可能な提言を提供すること。
• 92件のレビュー対象論文を分析し、トレンド、制限要因、性能結果を統合的に分析することで、今後の研究を導くこと。

提案手法

• PRISMA指針に従い、関連する研究を特定・選定するためのシステマティックレビュー（SLR）を実施した。
• 包括的な収集を確保するため、複数の検索キーワード、スノーボール法（前向きおよび後向き）、分野特化キーワードを用いた。
• 選択バイアスを低減するため、複数段階にわたる包含・除外基準を適用し、ランダムサンプルによる照合確認を実施した。
• ML手法、特徴量、データセット、性能指標に関する情報を一貫して収集するため、標準化されたデータ抽出フォームを策定した。
• MLアプローチをデータ駆動型と行動駆動型に分類し、特徴量を6種類に分類した：行動的、コンテンツベース、統計的、文法的、空間的、時間的。
• カテゴリ間でのデータ分布の不均一性を考慮し、定量的合成には中央値を用い、性能比較の信頼性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 MLベースのデータ漏洩検出で用いられる代表的な機械学習アプローチは何か？ また、性能と範囲においてどのように異なるか？
• RQ2 これらのシステムで最も一般的に使用される特徴量の種別は何か？ また、自動特徴量工学はどの程度採用されているか？
• RQ3 どのような種類の評価データセットが使用されており、その品質と最新性がモデルの信頼性にどのように影響するか？
• RQ4 最も頻繁に報告される性能指標は何か？ また、これらは現実の検出効果性とどの程度相関しているか？
• RQ5 現在のMLベースのデータ漏洩検出アプローチにおける主な研究ギャップと制限要因は何か？

主な発見

• 行動駆動型MLアプローチは、APT、横向き移動、内部不正など複雑な攻撃ベクトルの検出に優れるが、中央値の偽陽性率が6％を超えるという代償を伴う。
• データ駆動型アプローチは中央値の正確性が95％以上に達し、偽陽性率は6％未満に抑えられるが、主にデータ漏洩の送信段階（例：C2、データトンネル）の検出に限定して有効である。
• 統計的特徴量が最も頻繁に使用されており、次に行動的および時間的特徴量が続く。自動特徴量工学は27％の研究でのみ採用されており、ドメイン特化の特徴量設計に強く依存していることが示された。
• 12の公開データセットが同定されたが、そのうち8つは10年以上前に作成されたものであり、現代的で高品質な評価データの不足という深刻なギャップを示している。
• ランダムフォレスト（RFT）とサポートベクターマシン（SVM）が最も頻繁に使用された分類器であり、アンサンブルモデル（RFT、勾配ブースティング、AdaBoost）は最高のFスコア98％を達成した。
• K-Foldおよびホールドアウト検証が主流であり、正確性、再現率、偽陽性率（FPR）が最も一般的に報告された性能指標であり、フィッシング、悪意あるドメイン、顕在チャネル攻撃の検出において中央値のFPRは2％未満であった。