[論文レビュー] PicoDomain: A Compact High-Fidelity Cybersecurity Dataset

Craig Laprade, Benjamin Bowman+1 more|arXiv (Cornell University)|Aug 20, 2020

Anomaly Detection Techniques and Applications参考文献 3被引用数 5

ひとこと要約

PicoDomainは、実際のツール、テクニック、プロシージャー（TTP）を用いたリアルな小規模ネットワークインシデントのZeekログから得られたコン pact で高精度なサイバーセキュリティデータセットを提供する。このデータセットは、データの匿名化を行わず、真の事実（ground truth）を保ったまま、統計的分析および一般的な機械学習手法を用いて検証されたため、セキュリティアナリティクスの迅速な検証と反復的開発を可能にする。

ABSTRACT

Analysis of cyber relevant data has become an area of increasing focus. As larger percentages of businesses and governments begin to understand the implications of cyberattacks, the impetus for better cybersecurity solutions has increased. Unfortunately, current cybersecurity datasets either offer no ground truth or do so with anonymized data. The former leads to a quandary when verifying results and the latter can remove valuable information. Additionally, most existing datasets are large enough to make them unwieldy during prototype development. In this paper we have developed the PicoDomain dataset, a compact high-fidelity collection of Zeek logs from a realistic intrusion using relevant Tools, Techniques, and Procedures. While simulated on a small-scale network, this dataset consists of traffic typical of an enterprise network, which can be utilized for rapid validation and iterative development of analytics platforms. We have validated this dataset using traditional statistical analysis and off-the-shelf Machine Learning techniques.

研究の動機と目的

• プロトタイプ開発に適した高精度で真の事実ラベルが付与されたサイバーセキュリティデータセットが不足している問題に対処すること。
• 既存のデータセットが真の事実を欠如している、または機密情報を匿名化しているという制限を克服すること。
• 企業レベルのネットワークトラフィックパターンを反映するが、コンパクトで代表的なデータセットを構築すること。
• セキュリティアナリティクスプラットフォームの迅速な検証と反復的開発を支援すること。
• データの忠実度を損なわず、機械学習および統計的分析に使用可能であることを保証すること。

提案手法

• データセットは、実際のサイバーインシデントを模倣した制御された小規模ネットワーク環境を用いて生成された。
• インシデントシミュレーション中、すべてのネットワークトラフィックを記録するために、Zeek（旧称Bro）ネットワーク監視ツールが使用された。
• インシデントシナリオには、企業環境で一般的に観察される実際のツール、テクニック、プロシージャー（TTP）が組み込まれた。
• データセットは完全なネットワークメタデータおよび接続詳細を保持しており、分析価値を損なわないように匿名化を回避した。
• トラフィックパターンの代表性を確認するために統計的検証が実施された。
• 標準的な機械学習モデルを適用し、異常検知および分類タスクにおけるデータセットの有用性を評価した。

実験結果

リサーチクエスチョン

• RQ1 リアルで小規模なネットワークインシデントから、コンパクトで高精度な真の事実を備えたデータセットを構築できるか？
• RQ2 完全なネットワークメタデータを保持することで、匿名化された代替データセットと比較して、データセットの有用性が向上するか？
• RQ3 データセットがセキュリティアナリティクスプラットフォームの迅速な検証と反復的開発をどの程度サポートできるか？
• RQ4 標準的な統計的および機械学習手法を用いて評価した場合、データセットの性能はどの程度高いか？
• RQ5 プロトコルの多様性および接続行動の観点から、データセットは企業レベルのネットワークトラフィックを適切に反映しているか？

主な発見

• PicoDomainデータセットは、企業環境で一般的な多様なプロトコルおよび接続パターンを含む、リアルなネットワーク行動を的確に捉えている。
• 完全なネットワークメタデータを保持することで、データの匿名化を行わず詳細な分析が可能となり、高い忠実度を維持している。
• 統計的分析により、データセットのトラフィックパターンが実際の企業ネットワーク活動と代表的であることが確認された。
• 一般的な機械学習モデルがデータセットで有意義な性能を示したため、セキュリティアナリティクスの学習およびテストにおける有用性が検証された。
• 既存の代替データセットと比較してコンパクトなサイズであるため、プロトタイプ開発および反復的テストに効率的に使用可能である。
• インシデント検知および対応の評価に信頼できる真の事実を提供し、結果の検証における曖昧さを低減している。