[論文レビュー] H-VGRAE: A Hierarchical Stochastic Spatial-Temporal Embedding Method for Robust Anomaly Detection in Dynamic Networks

Chenming Yang, Zhou Liang+3 more|arXiv (Cornell University)|Jul 14, 2020

Complex Network Analysis Techniques参考文献 44被引用数 6

ひとこと要約

H-VGRAE は、動的ネットワークにおけるマルチスケールの空間的・時系列的特徴をモデル化することで、ロバストで確率的なノード表現を学習する階層的変分グラフ再帰オートエンコーダーを提案する。正規化フローと予測事前分布を用いた変分推論により、再構成確率が低いことで異常を検出し、UCI Message や Github を含む4つの実世界データセットで最先端の手法を顕著に上回る AUC の向上を達成した。

ABSTRACT

Detecting anomalous edges and nodes in dynamic networks is critical in various areas, such as social media, computer networks, and so on. Recent approaches leverage network embedding technique to learn how to generate node representations for normal training samples and detect anomalies deviated from normal patterns. However, most existing network embedding approaches learn deterministic node representations, which are sensitive to fluctuations of the topology and attributes due to the high flexibility and stochasticity of dynamic networks. In this paper, a stochastic neural network, named by Hierarchical Variational Graph Recurrent Autoencoder (H-VGRAE), is proposed to detect anomalies in dynamic networks by the learned robust node representations in the form of random variables. H-VGRAE is a semi-supervised model to capture normal patterns in training set by maximizing the likelihood of the adjacency matrix and node attributes via variational inference. Comparing with existing methods, H-VGRAE has three main advantages: 1) H-VGRAE learns robust node representations through stochasticity modeling and the extraction of multi-scale spatial-temporal features; 2) H-VGRAE can be extended to deep structure with the increase of the dynamic network scale; 3) the anomalous edge and node can be located and interpreted from the probabilistic perspective. Extensive experiments on four real-world datasets demonstrate the outperformance of H-VGRAE on anomaly detection in dynamic networks compared with state-of-the-art competitors.

研究の動機と目的

• 高いトポロジー的および属性的確率的変動を示す動的ネットワークにおける時間的変化する異常の検出という課題に対処すること。
• 局所的な変動や短期間の変化に敏感な決定的ネットワーク埋め込み手法の限界を克服すること。
• 深く階層的な確率的アーキテクチャを用いて、ロバストでマルチスケールの空間的・時系列的表現を学習すること。
• エッジおよびノードに確率的再構成スコアを割り当てることで、解釈可能な異常検出を可能にすること。
• ラベルなしの訓練データから正常パターンを捉え、その乖離を異常として検出できる半教師ありモデルの開発

提案手法

• 複数スケールの空間的・時系列的依存関係をモデル化するため、マルチレイヤーの条件付き確率変数を用いた階層的エンコーダ-デコーダ構造を採用する。
• 隣接行列およびノード属性の尤度を最大化するための変分推論を用い、確率的潜在表現を学習する。
• 正規化フローを統合してガウス事後分布の仮定を緩和し、深く確率的なネットワークにおける事後分布の崩壊を防ぐ。
• 予測事前分布のメカニズムを適用して訓練を安定化させ、深く階層的な変分モデルにおける事後分布の崩壊問題を緩和する。
• エンコーダ層とデコーダ層の間での情報共有を活用し、深く確率的な階層の最適化を改善する。
• 学習された潜在変数からエッジおよびノード属性を再構成し、再構成確率が低いものを異常と特定する。

実験結果

リサーチクエスチョン

• RQ1 階層的な確率的ネットワーク埋め込みモデルは、動的ネットワークにおける複雑でマルチスケールの空間的・時系列的パターンを効果的に捉えることができるか？
• RQ2 ノード表現における確率的性質をモデル化することで、動的ネットワークにおけるトポロジー的および属性的変動に対して、どの程度ロバスト性が向上するか？
• RQ3 正規化フローと予測事前分布の使用が、深く変分的なグラフオートエンコーダーの安定性と性能をどの程度向上させるか？
• RQ4 提案手法は、半教師あり設定において、解釈可能な確率的スコアを用いて異常エッジおよびノードを検出し、局所化できるか？
• RQ5 スケール数や潜在次元といったハイパーパrameterが、異常検出性能にどの程度影響を与えるか？

主な発見

• H-VGRAE は、UCI Message や Github を含む4つの実世界の動的ネットワークデータセットにおいて、最先端の手法を顕著に上回る AUC の向上を達成した。
• モデルの性能は M=2 スケールおよび d=16 潜在次元でピークに達し、M>5 または d>32 になると、潜在空間における過剰な拡張またはノイズにより AUC が低下した。
• エッジの訓練比率を 10% から 40% に増加させると AUC が急激に上昇し、40% を超えると性能が安定した。
• 可視化により、異常ノードが正常ノードと類似した潜在表現に符号化されていることが確認され、H-VGRAE が正常パターンをロバストに学習していることが裏付けられた。
• 異常エッジの再構成確率は一貫して低く、正常パターンからの乖離が効果的に検出されていることが検証された。
• 正規化フローと予測事前分布のおかげで、後続分布の崩壊問題が効果的に緩和され、深く階層的な確率的層の安定した訓練が可能になった。