[论文解读] H-VGRAE: A Hierarchical Stochastic Spatial-Temporal Embedding Method for Robust Anomaly Detection in Dynamic Networks

Chenming Yang, Zhou Liang+3 more|arXiv (Cornell University)|Jul 14, 2020

Complex Network Analysis Techniques参考文献 44被引用 6

一句话总结

H-VGRAE 提出了一种分层变分图循环自编码器，通过在动态网络中建模多尺度时空特征，学习鲁棒且随机的节点表示。通过使用归一化流和预测先验的变分推断，它通过低重建概率检测异常，在四个真实世界数据集上显著提升了AUC性能，优于最先进方法。

ABSTRACT

Detecting anomalous edges and nodes in dynamic networks is critical in various areas, such as social media, computer networks, and so on. Recent approaches leverage network embedding technique to learn how to generate node representations for normal training samples and detect anomalies deviated from normal patterns. However, most existing network embedding approaches learn deterministic node representations, which are sensitive to fluctuations of the topology and attributes due to the high flexibility and stochasticity of dynamic networks. In this paper, a stochastic neural network, named by Hierarchical Variational Graph Recurrent Autoencoder (H-VGRAE), is proposed to detect anomalies in dynamic networks by the learned robust node representations in the form of random variables. H-VGRAE is a semi-supervised model to capture normal patterns in training set by maximizing the likelihood of the adjacency matrix and node attributes via variational inference. Comparing with existing methods, H-VGRAE has three main advantages: 1) H-VGRAE learns robust node representations through stochasticity modeling and the extraction of multi-scale spatial-temporal features; 2) H-VGRAE can be extended to deep structure with the increase of the dynamic network scale; 3) the anomalous edge and node can be located and interpreted from the probabilistic perspective. Extensive experiments on four real-world datasets demonstrate the outperformance of H-VGRAE on anomaly detection in dynamic networks compared with state-of-the-art competitors.

研究动机与目标

• 解决在具有高拓扑和属性随机性的动态网络中检测时变异常的挑战。
• 克服确定性网络嵌入方法对局部波动和短期变化敏感的局限性。
• 通过深度分层随机架构学习鲁棒的多尺度时空表示。
• 通过为边和节点分配概率重建分数，实现可解释的异常检测。
• 开发一种半监督模型，从无标签训练数据中捕捉正常模式，并将偏离作为异常检测。

提出的方法

• 采用具有多层条件随机场变量的分层编码器-解码器结构，以在多个尺度上建模时空依赖性。
• 使用变分推断以最大化邻接矩阵和节点属性的似然，学习随机潜在表示。
• 集成归一化流以放松高斯后验假设，并防止深度随机网络中的后验坍缩。
• 应用预测先验机制以稳定训练，并缓解深度分层变分模型中的后验坍缩问题。
• 利用编码器和解码器层之间的信息共享，以改善深度随机层次的优化。
• 从学习到的潜在变量重建边和节点属性，并将重建概率较低的样本标记为异常。

实验结果

研究问题

• RQ1 分层随机网络嵌入模型能否有效捕捉动态网络中复杂且多尺度的时空模式？
• RQ2 在节点表示中建模随机性如何提升对动态网络中拓扑和属性波动的鲁棒性？
• RQ3 使用归一化流和预测先验在多大程度上增强了深度变分图自编码器的稳定性和性能？
• RQ4 所提出的方法能否在半监督设置下，通过可解释的概率分数检测并定位异常边和节点？
• RQ5 超参数如尺度数量 M 和潜在维度 d 如何影响异常检测性能？

主要发现

• H-VGRAE 在四个真实世界动态网络数据集（包括 UCI Message 和 Github）上，相较于最先进方法实现了显著的 AUC 提升。
• 当 M=2 个尺度和 d=16 潜在维度时，模型性能达到峰值；当 M>5 或 d>32 时，AUC 下降，原因在于潜在空间中过度膨胀或噪声增加。
• 将边的训练比例从 10% 提高到 40% 导致 AUC 显著上升，且在 40% 以上时性能趋于稳定。
• 可视化显示，异常节点被编码为与正常节点非常相似的潜在表示，证实 H-VGRAE 能够鲁棒地学习正常模式。
• 异常边的重建概率始终较低，验证了模型能有效检测出与正常模式的偏离。
• 通过归一化流和预测先验，模型成功缓解了后验坍缩问题，实现了深度分层随机层的稳定训练。