[論文レビュー] Recurrent Neural Network Language Models for Open Vocabulary Event-Level Cyber Anomaly Detection

Aaron Tuor, Ryan Baerwolf+4 more|arXiv (Cornell University)|Dec 2, 2017

Network Security and Intrusion Detection参考文献 22被引用数 27

ひとこと要約

本論文は、生のシステムログラインを用いて、オープンボキャブラリーでイベントレベルのサイバー異常検出を実現する、非教師ありでオンラインな再帰的ニューラルネットワーク（RNN）言語モデルを提案する。ログ系列を自然言語としてモデル化し、双方向の文字ベースRNNを活用することで、ドメイン特化の特徴工学を一切行わず、0.98のAUCを達成する最先端の性能を実現。これは、ログラインレベルでの悪意ある行動の細分化されたリアルタイム検出を可能にする。

ABSTRACT

Automated analysis methods are crucial aids for monitoring and defending a network to protect the sensitive or confidential data it hosts. This work introduces a flexible, powerful, and unsupervised approach to detecting anomalous behavior in computer and network logs, one that largely eliminates domain-dependent feature engineering employed by existing methods. By treating system logs as threads of interleaved "sentences" (event log lines) to train online unsupervised neural network language models, our approach provides an adaptive model of normal network behavior. We compare the effectiveness of both standard and bidirectional recurrent neural network language models at detecting malicious activity within network log data. Extending these models, we introduce a tiered recurrent architecture, which provides context by modeling sequences of users' actions over time. Compared to Isolation Forest and Principal Components Analysis, two popular anomaly detection algorithms, we observe superior performance on the Los Alamos National Laboratory Cyber Security dataset. For log-line-level red team detection, our best performing character-based model provides test set area under the receiver operator characteristic curve of 0.98, demonstrating the strong fine-grained anomaly detection performance of this approach on open vocabulary logging sources.

研究の動機と目的

• 既存の異常検出手法がドメイン特化の手作業特徴に大きく依存しているという限界を是正すること。
• システム構成に関する事前仮定を一切行わず、オープンボキャブラリーのネットワークログにおいて細分化されたログラインレベルの異常検出を可能にすること。
• 特徴工学を排除することで、導入時間の短縮と多様なネットワーク環境への適応性の向上を図ること。
• 生のログトークン内の順序パターンを直接モデル化することで、検出感度の向上と誤検出の低減を実現すること。
• RNNベースの言語モデル、特に文字レベルおよび双方向バージョンの、微細または未知のサイバー脅威を検出する有効性を評価すること。

提案手法

• システムログラインをトークン（単語または文字）の系列として扱い、毎日のログバッチに対してオンラインで非教師ありRNN言語モデルを学習する。
• 前向きおよび後向きの両方向のコンテキスト依存性を捉えるために、双方向長短期記憶（Bi-LSTM）ネットワークを用いる。
• 学習された正常動作のモデルに基づいて、異常なログラインがどれほど起こりにくいかに応じて低い確率スコアを割り当てる。
• 時間経過に伴うユーザー行動の系列をモデル化するため、段階的な再帰的アーキテクチャを採用し、文脈認識能力を向上させる。
• 固定されたメモリ制限内でログをリアルタイムに処理し、高速なログストリームにおけるスケーラビリティを実現する。
• ロスアラモス国立研究所（LANL）サイバー・セキュリティ・データセットを用い、赤チーム活動の真のラベルを基準に性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化の特徴工学を一切行わず、生のシステムログにおいてRNNベースの言語モデルが異常行動を効果的に検出できるか？
• RQ2 検出の粒度（ログラインレベル対1日単位）が、言語モデルベースの異常検出の性能に与える影響は何か？
• RQ3 オープンボキャブラリーのネットワークログの異常検出において、文字レベルのトークン化は単語レベルのトークン化を上回るか？
• RQ4 双方向RNNは、サイバー異常検出において標準的なRNNと比較して、文脈パターンをどれほど効果的に捉えられるか？
• RQ5 段階的な再帰的アーキテクチャは、時間経過に伴うユーザー行動の系列をモデル化することで、検出性能を向上させられるか？

主な発見

• 最も優れた性能を示したモデルは、双方向の文字ベースRNN言語モデルであり、ログラインレベルの検出タスクで受信器特性曲線（ROC）下の面積（AUC）が0.98を達成した。
• 文字ベースのモデルは、80％の再現率を達成するため、データのたった3％をマークしたが、隔離森代わりのベースラインは同じ再現率を達成するため55％のデータを必要とした。
• 双方向言語モデルは、1日単位の検出において標準的なRNNを上回り、文脈モデル化の向上を示した。
• 文字レベルのモデルの非正規化された異常スコアは、赤チームイベントにおいて主に95百分位数を超えており、悪意ある行動への高い感受性を示した。
• 以前にアノテートされていなかった14日目の予期しない異常イベントを検出できた。これは、未知の脅威を特定する可能性を示唆している。
• 特に精度と再現率の効率性において、隔離森や主成分分析と比較して優れた性能を示した。