[論文レビュー] End-To-End Anomaly Detection for Identifying Malicious Cyber Behavior through NLP-Based Log Embeddings

Andrew Golczynski, John A. Emanuello|arXiv (Cornell University)|Aug 27, 2021

Network Security and Intrusion Detection参考文献 17被引用数 6

ひとこと要約

この論文では、NLPにインspiredされた単語埋め込みを用いて、エンドツーエンドのディープラーニングフレームワークを提案し、企業ネットワークにおける異常検出のためのシステムログメタデータを自動的にベクトル化する。自己符号化器と同時に埋め込みを学習させることで、モデルはシステム動作の意味的な意味を持つ表現を学習し、最小限の手作業特徴工学でDARPA OpTCデータセットにおけるレッドチーム活動を高い精度で検出する。

ABSTRACT

Rule-based IDS (intrusion detection systems) are being replaced by more robust neural IDS, which demonstrate great potential in the field of Cybersecurity. However, these ML approaches continue to rely on ad-hoc feature engineering techniques, which lack the capacity to vectorize inputs in ways that are fully relevant to the discovery of anomalous cyber activity. We propose a deep end-to-end framework with NLP-inspired components for identifying potentially malicious behaviors on enterprise computer networks. We also demonstrate the efficacy of this technique on the recently released DARPA OpTC data set.

研究の動機と目的

• 従来のルールベースおよび機械学習ベースの侵入検知システムが、脆弱で手作業で設計された特徴に依存するという限界を解決すること。
• 手作業特徴工学を必要とせず、関連するベクトル表現を自動で学習するエンドツーエンドのフレームワークを構築すること。
• 再構築に基づく異常スコアリングのため、自己符号化器と同時に埋め込みを共同で学習させることで、異常検出性能を向上させること。
• 最近リリースされたDARPA OpTCデータセットを用いて、本アプローチの有効性を実証すること。このデータセットは、現実的なサイバー攻撃行動を捉えている。
• 企業環境における説明可能でスケーラブルかつ適応可能なニューラル侵入検知システムの基盤を築くこと。

提案手法

• 個々のログフィールド（例：IP、ファイルパス、プロセス名）をテキストコーパス内のトークンとして扱い、NLP風の埋め込み学習を可能にする。
• 共有された埋め込み層を備えたディープな自己符号化器アーキテクチャを用い、潜在空間におけるログレコードの圧縮され意味のある表現を学習する。
• エンドツーエンドで全モデルを訓練し、再構築誤差と埋め込み品質の両方を同時に最適化することで、下流の異常検出を改善する。
• word2vecにインspiredした手法を用いて、ログ要素間の意味的および構文的関係（例：共通するファイルタイプ、プロセス動作）をエンコードするベクトル表現を学習する。
• プロセスIDまたはユーザーごとのログレコードの時系列集約を適用し、行動ベースの異常検出を可能にする。
• L2再構築誤差を異常スコアとして使用し、誤差が高いほど悪意ある活動の可能性が高くなる。

実験結果

リサーチクエスチョン

• RQ1 NLPベースのログ埋め込み技術は、サイバー異常に関連する意味的関係を捉える方法で、システムログメタデータを効果的に表現できるか？
• RQ2 学習済み埋め込みと共同で自己符号化器をエンドツーエンドで訓練することで、従来の特徴工学と比較して異常検出性能が向上するか？
• RQ3 本モデルは、DARPA OpTCデータセットにおけるレッドチーム活動を高い精度で検出し、ログパターンの意味的なクラスタリングを実現できるか？
• RQ4 学習済み埋め込みは、共通するファイルタイプやプロセスファミリーなどの意味的に整合性のあるシステム動作のグループ化をどのように反映しているか？
• RQ5 このフレームワークは、検出精度を維持または向上させつつ、手作業特徴工学への依存度をどの程度低減できるか？

主な発見

• モデルはDARPA OpTCデータセットにおけるレッドチーム活動を効果的に検出でき、再構築誤差の分布が正常行動と異常行動を明確に区別していた。
• 学習済み埋め込みは意味的に意味のあるクラスタリングを示しており、DLL、.tmpファイル、Microsoft Officeファイルのグループ化など、関連するシステム動作パターンを捉えていることが示された。
• 自己符号化器の潜在空間は構造的整合性を示しており、類似したシステム動作が埋め込み空間にまとまってクラスタリングされていた。
• 本アプローチは、異常検出において高い精度を達成し、サイバー脅威検出におけるエンドツーエンド学習の実現可能性を示した。
• t-SNEを用いた可視化により、共通するファイルタイプやプロセス動作といった、ログ要素間の意味的な関係がモデルが正しく捉えていることが確認された。
• 本フレームワークは、生のログフィールドから直接表現を学習することで、手作業特徴工学への依存度を低減した。