[論文レビュー] A Deep Belief Network Based Machine Learning System for Risky Host Detection

Wangyan Feng, Shuning Wu+2 more|arXiv (Cornell University)|Dec 29, 2017

Network Security and Intrusion Detection参考文献 12被引用数 8

ひとこと要約

本論文では、SIEMアラート、セキュリティログ、およびアナリストの調査結果を活用して、エンタープライズ環境におけるリスクの高いホストを検出するための深層信念ネットワーク（DBN）ベースの機械学習システムを提案する。テキストマイニングおよびグラフベースの特徴工学を用いることで、誤検出を低減し、実際のエンタープライズデータ上で、従来のルールベースのシステムと比較して6倍の性能を達成する。

ABSTRACT

To assure cyber security of an enterprise, typically SIEM (Security Information and Event Management) system is in place to normalize security event from different preventive technologies and flag alerts. Analysts in the security operation center (SOC) investigate the alerts to decide if it is truly malicious or not. However, generally the number of alerts is overwhelming with majority of them being false positive and exceeding the SOC's capacity to handle all alerts. There is a great need to reduce the false positive rate as much as possible. While most previous research focused on network intrusion detection, we focus on risk detection and propose an intelligent Deep Belief Network machine learning system. The system leverages alert information, various security logs and analysts' investigation results in a real enterprise environment to flag hosts that have high likelihood of being compromised. Text mining and graph based method are used to generate targets and create features for machine learning. In the experiment, Deep Belief Network is compared with other machine learning algorithms, including multi-layer neural network, random forest, support vector machine and logistic regression. Results on real enterprise data indicate that the deep belief network machine learning system performs better than other algorithms for our problem and is six times more effective than current rule-based system. We also implement the whole system from data collection, label creation, feature engineering to host score generation in a real enterprise production environment.

研究の動機と目的

• セキュリティオペレーションセンター（SOC）における高頻度の誤検出アラートがアナリストを圧倒するのを軽減すること。
• 実際のエンタープライズセキュリティデータに基づく機械学習を活用して、改ざんされたホストの検出を向上させること。
• データ収集からホストスコアリングまでをカバーする、スケーラブルでエンドツーエンドのリスク検出システムを構築すること。
• 伝統的な機械学習モデルおよびルールベースのシステムを上回り、改ざんの可能性が極めて高いホストを特定する能力を向上させること。

提案手法

• セキュリティログおよびアラートの説明文に対するテキストマイニングを用いて、意味的特徴を抽出する。
• ホスト、イベント、アラートの間の関係をモデル化するためのグラフベースの手法を用い、構造的特徴を生成する。
• テキスト分析およびグラフ分析から得られた特徴を、階層的表現学習を実行するための深層信念ネットワーク（DBN）に供給する。
• DBNは、グリーディな段階的事前学習アプローチを用いて訓練した後、微調整を行う。
• アナリストの調査結果からラベルを生成し、既知のリスクの高いホストを学習対象とする。
• DBNの出力をもとに、最終的なホストリスクスコアを生成し、高リスクシステムの優先順位付けを可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層信念ネットワークは、セキュリティログおよびアラートの複雑なパターンを効果的に学習し、リスクの高いホストを検出できるか？
• RQ2 SVM、ランダムフォレスト、ロジスティック回帰といった従来の機械学習モデルと比較して、DBNのリスク検出性能はどの程度高いか？
• RQ3 提案されたシステムは、ルールベースのアプローチと比較して、誤検出をどの程度低減できるか？
• RQ4 本システムは、エンドツーエンドのデータ処理を伴う、実際のエンタープライズ生産環境に成功裏に導入可能か？

主な発見

• DBNベースのシステムは、マルチレイヤーニューラルネットワーク、ランダムフォレスト、SVM、ロジスティック回帰といった他の機械学習モデルを上回り、リスクの高いホストの検出において優れた性能を示した。
• 本システムは、エンタープライズ環境において、既存のルールベースの検出システムと比較して6倍の効果性を達成した。
• テキストマイニングとグラフベースの特徴工学の統合により、モデルが複雑な攻撃パターンを捉える能力が著しく向上した。
• 本システムは、実際のエンタープライズ生産環境に成功裏に導入され、スケーラビリティおよび実用性が実証された。
• DBNの階層的特徴学習機能により、複雑でノイズの多いセキュリティイベントデータに対する一般化能力が向上した。