[論文レビュー] Entity Embedding-based Anomaly Detection for Heterogeneous Categorical Events

Ting Chen, Lu‐An Tang+3 more|arXiv (Cornell University)|Aug 26, 2016

Anomaly Detection Techniques and Applications参考文献 18被引用数 66

ひとこと要約

本稿では、異常検出を確率的対比較相互作用とエンティティ埋め込みを用いて行うAPE（Anomaly Detection via Probabilistic Pairwise Interaction and Entity Embedding）を提案する。これは、異種のカテゴリカルなエンティティを共有の潜在空間に埋め込むことで、イベントの尤度をモデル化する統合的確率的モデルである。重み付き対比較相互作用と文脈依存のノイズを用いたノイズ対比推定（Noise-Contrastive Estimation）により、大規模なイベント空間から効率的に学習が可能であり、実際の企業監視データにおける異常検出において、最先端の手法を上回る性能を発揮する。

ABSTRACT

Anomaly detection plays an important role in modern data-driven security applications, such as detecting suspicious access to a socket from a process. In many cases, such events can be described as a collection of categorical values that are considered as entities of different types, which we call heterogeneous categorical events. Due to the lack of intrinsic distance measures among entities, and the exponentially large event space, most existing work relies heavily on heuristics to calculate abnormal scores for events. Different from previous work, we propose a principled and unified probabilistic model APE (Anomaly detection via Probabilistic pairwise interaction and Entity embedding) that directly models the likelihood of events. In this model, we embed entities into a common latent space using their observed co-occurrence in different events. More specifically, we first model the compatibility of each pair of entities according to their embeddings. Then we utilize the weighted pairwise interactions of different entity types to define the event probability. Using Noise-Contrastive Estimation with "context-dependent" noise distribution, our model can be learned efficiently regardless of the large event space. Experimental results on real enterprise surveillance data show that our methods can accurately detect abnormal events compared to other state-of-the-art abnormal detection techniques.

研究の動機と目的

• 異種カテゴリカルイベントデータにおける教師なし異常検出の課題に対処すること。従来の手法は、内在的な距離測定がなく、イベント空間が指数関数的に増大するため、ヒューリスティックに依存している。
• 直接的にイベント尤度をモデル化する、統合的かつ原理的な確率的フレームワークを構築すること。ヒューリスティックな異常スコアに依存しない。
• 異なる種類のカテゴリカルエンティティ間の意味的類似性や相性を捉える意味的で意味のあるエンティティ表現を学習すること。
• 可能なイベントコンビネーションの組み合わせが爆発的に増加するが、大規模なイベントデータでも効率的な学習を可能にすること。
• 実世界のセキュリティ応用において、未知または未観測の異常イベントをより正確に検出すること。

提案手法

• エンティティの共起パターンをモデル化することで、異種カテゴリカルエンティティを共有の低次元潜在空間に投影するエンティティ埋め込みを学習する。
• エンティティ間の対比較適合性は、学習済み埋め込みベクトルのドット積によって定量化され、相互作用の強さを捉える。
• イベント尤度は、異なるエンティティタイプ間の対比較相互作用の重み付き和として定義され、複雑なイベント構造の柔軟なモデル化を可能にする。
• ノイズ対比推定（NCE）を用い、文脈依存のノイズ分布を導入することで、全イベント空間の全列挙を避けて効率的な学習が可能になる。
• モデルはエンドツーエンドで、観測された正常イベントの尤度を最大化するように学習され、異常スコアは予測されたイベント尤度の逆数から導出される。
• t-SNEを用いて学習済み埋め込みを可視化し、意味的に類似したエンティティが潜在空間でクラスタリングされることを検証した。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックな異常スコアに依存せずに、異種カテゴリカルイベントデータにおいて統合的確率的モデルが、イベント尤度を効果的に学習できるか？
• RQ2 エンティティ埋め込みが、イベントデータ内の異なる種類のカテゴリカルエンティティ間の意味的関係や相性を捉えられるか？
• RQ3 文脈依存のノイズを用いたノイズ対比推定（NCE）が、指数関数的に増大するイベント空間を持つ大規模イベントデータの効率的学習を可能にするか？
• RQ4 提案されたAPEモデルは、既存の最先端手法よりも未知の異常イベントをより正確に検出できるか？
• RQ5 学習済みエンティティ埋め込みが、解釈可能なパターン（例：作業時間の区別、ルートユーザ行動の分離）を明らかにでき、異常検出を支援できるか？

主な発見

• APEモデルは、実際の企業監視データにおいて、最先端の手法を上回る優れた異常検出性能を発揮し、異常イベントの同定において高い正確性を示した。
• t-SNE可視化により、学習済みエンティティ埋め込みが意味的意味を捉えていることが確認された：類似したユーザタイプがクラスタリングされ、ルートユーザは他のものと明確に分離されている。
• モデルは時間的パターンを効果的に学習しており、事前に知識がなくても、時間埋め込み空間において明確に作業時間と非作業時間の分離が観察された。
• APEの性能は、負例の数に対して安定しており、負例サイズが増加するにつれてわずかな改善が見られた。これは、学習が安定していることを示している。
• NCEにおける文脈依存ノイズの使用により、全イベント空間の全列挙を避けて効率的な学習が可能となり、スケーラビリティが確保された。
• 重み付き対比較相互作用機構は、すべての可能な相互作用を考慮するモデルと比較して、過学習を低減し、解釈性を向上させた。