[論文レビュー] Deep Learning for Unsupervised Insider Threat Detection in Structured Cybersecurity Data Streams

Aaron Tuor, Samuel Kaplan+3 more|arXiv (Cornell University)|Oct 2, 2017

Network Security and Intrusion Detection被引用数 184

ひとこと要約

オンラインの教師なし深層学習がストリーミングシステムログの異常なユーザー活動を検出；各ユーザーごとのDNN/LSTMモデルが解釈可能な異常寄与を提供し、CERT v6.2データセットでPCA、SVM、Isolation Forestのベースラインを上回る。

ABSTRACT

Analysis of an organization's computer network activity is a key component of early detection and mitigation of insider threat, a growing concern for many organizations. Raw system logs are a prototypical example of streaming data that can quickly scale beyond the cognitive power of a human analyst. As a prospective filter for the human analyst, we present an online unsupervised deep learning approach to detect anomalous network activity from system logs in real time. Our models decompose anomaly scores into the contributions of individual user behavior features for increased interpretability to aid analysts reviewing potential cases of insider threat. Using the CERT Insider Threat Dataset v6.2 and threat detection recall as our performance metric, our novel deep and recurrent neural network models outperform Principal Component Analysis, Support Vector Machine and Isolation Forest based anomaly detection baselines. For our best model, the events labeled as insider threat activity in our dataset had an average anomaly score in the 95.53 percentile, demonstrating our approach's potential to greatly reduce analyst workloads.

研究の動機と目的

• 高速で多様なシステムログからの早期内部脅威検知を動機づける。
• オンラインの教師なし深層学習システムを開発し、正常なユーザー挙動をモデリングして異常をフラグする。
• スコアを寄与特徴に分解して解釈可能な異常説明を提供する。
• CERT Insider Threat Dataset v6.2を用いてオンラインのDNNとLSTMアーキテクチャを標準ベースラインと比較評価する。

提案手法

• 日次の、ユーザーごとの414次元特徴ベクトル（408カウント＋6のカテゴリ属性）としてシステムログを表現する。
• 二つのニューラルアーキテクチャを実装する：ディープニューラルネットワーク（DNN）とリカレントニューラルネットワーク（LSTM）。パラメータを共有するがオンライン学習のためにユーザーごとの状態を持つ。
• 次の日次の特徴ベクトルを予測するか、現在のものを再構成する。異常は負の対数尤度として計算する確率モデルを用いる。
• 連続カウントと6つのカテゴリ変数の結合分布を因子分解近似とカテゴリ変数のソフトマックス出力でモデリングする。
• 分析者の解釈を支援するために、個々の特徴の寄与から異常スコアを分解する。
• 新しいユーザーイベントベクトルごとに重みを更新してオンライン学習を行い、グローバルパラメータを共有しつつ各ユーザーの隠れ状態/セル状態を維持する。

実験結果

リサーチクエスチョン

• RQ1 オンラインDNNおよびLSTMモデルは従来のベースラインよりもストリーミング構造化サイバーセキュリティデータにおける内部脅威をより効果的に検出できるのか？
• RQ2 オンライン学習で個々のユーザーの挙動をモデル化することはリアルタイムの異常検出と解釈性を改善するのか？
• RQ3 カテゴリ特徴を含めることは、カウント特徴のみを用いる場合と比べて検出性能にどのような影響を与えるか？
• RQ4 同じ時刻の予測ターゲットと次の時刻の予測ターゲットのうち、どちらが異常検出に有効か？
• RQ5 連続特徴の対角共分散モデルはアイデンティティ共分散より性能を向上させるのか？

主な発見

• DNN-DiagとLSTM-Diagは累積リコール指標（CR-400およびCR-1000）でPCA、SVM、Isolation Forestのベースラインを大幅に上回る。
• カテゴリ特徴を含めると一部設定で性能がわずかな向上をもたらすが、カウント特徴のみを用いる場合には一般に効果は小さく、カウントのみのモデルが多くの実験で最良の性能を示した。
• 同じ時刻の予測（現在の入力を再構成する）を用いた場合、次の時刻を用いた場合よりDNNおよびLSTMの変種で性能が上回った。
• 連続特徴の対角共分散は、特にオンラインコンテキストで、アイデンティティ共分散より性能を向上させる。
• 開発/テスト分割で、いくつかのモデルは日次予算425付近で100%リコールを達成し、より小さな予算でもリコールが顕著だった（例：90%リコールで250）。
• メインテーブルの最良結果は、LSTM-DiagでCR-400=11.6、CR-1000=35.6、LSTM-Diag-CatでCR-400=9.2、CR-1000=32.3。