[논문 리뷰] H-VGRAE: A Hierarchical Stochastic Spatial-Temporal Embedding Method for Robust Anomaly Detection in Dynamic Networks

Chenming Yang, Zhou Liang외 3명|arXiv (Cornell University)|2020. 07. 14.

Complex Network Analysis Techniques참고 문헌 44인용 수 6

한 줄 요약

H-VGRAE는 동적 네트워크의 다중 척도 공간-시간 특징을 모델링함으로써 강력하고 확률적인 노드 표현을 학습하는 계층적 변분 그래프 순환 오토인코더를 제안한다. 정규화 흐름과 예측 우선분포를 사용한 변분 추론을 통해 복원 확률이 낮은 경우에 비정상성을 탐지하며, 네 개의 실세계 데이터셋에서 최신 기법들을 능가하는 유의미한 AUC 향상을 달성한다.

ABSTRACT

Detecting anomalous edges and nodes in dynamic networks is critical in various areas, such as social media, computer networks, and so on. Recent approaches leverage network embedding technique to learn how to generate node representations for normal training samples and detect anomalies deviated from normal patterns. However, most existing network embedding approaches learn deterministic node representations, which are sensitive to fluctuations of the topology and attributes due to the high flexibility and stochasticity of dynamic networks. In this paper, a stochastic neural network, named by Hierarchical Variational Graph Recurrent Autoencoder (H-VGRAE), is proposed to detect anomalies in dynamic networks by the learned robust node representations in the form of random variables. H-VGRAE is a semi-supervised model to capture normal patterns in training set by maximizing the likelihood of the adjacency matrix and node attributes via variational inference. Comparing with existing methods, H-VGRAE has three main advantages: 1) H-VGRAE learns robust node representations through stochasticity modeling and the extraction of multi-scale spatial-temporal features; 2) H-VGRAE can be extended to deep structure with the increase of the dynamic network scale; 3) the anomalous edge and node can be located and interpreted from the probabilistic perspective. Extensive experiments on four real-world datasets demonstrate the outperformance of H-VGRAE on anomaly detection in dynamic networks compared with state-of-the-art competitors.

연구 동기 및 목표

• 높은 구조적 및 속성 확률적 변동성을 보이는 동적 네트워크에서 시간에 따라 변화하는 비정상성을 탐지하는 과제를 해결한다.
• 국소적 변동성과 단기적 변화에 민감한 결정론적 네트워크 임베딩 기법의 한계를 극복한다.
• 깊이 있는 계층적 확률적 아키텍처를 통해 강력하고 다중 척도의 공간-시간 표현을 학습한다.
• 엣지와 노드에 확률적 복원 점수를 부여함으로써 비정상성 탐지의 해석 가능성을 보장한다.
• 라벨이 없는 훈련 데이터로부터 정상 패턴을 학습하고 이를 위반하는 것을 비정상성으로 탐지하는 준지도 학습 모델을 개발한다.

제안 방법

• 다중 척도에서 공간-시간 의존성을 모델링하기 위해 다층 조건부 랜덤 변수를 갖는 계층적 인코더-디코더 구조를 사용한다.
• 변분 추론을 사용하여 인접 행렬과 노드 속성의 가능도를 최대화하고, 확률적 잠재 표현을 학습한다.
• 정규화 흐름을 통합하여 가우시안 사후 분포 가정을 완화하고 깊이 있는 확률적 네트워크에서 사후 붕괴를 방지한다.
• 예측 우선분포 메커니즘을 적용하여 훈련을 안정화하고 깊이 있는 계층적 변분 모델에서의 사후 붕괴 문제를 완화한다.
• 인코더와 디코더 레이어 간의 정보 공유를 활용하여 깊이 있는 확률적 계층의 최적화를 향상시킨다.
• 학습된 잠재 변수에서 엣지와 노드 속성을 복원하고, 복원 확률이 낮은 것을 비정상으로 표시한다.

실험 결과

연구 질문

• RQ1 계층적 확률적 네트워크 임베딩 모델은 동적 네트워크의 복잡한 다중 척도 공간-시간 패턴을 효과적으로 포착할 수 있는가?
• RQ2 노드 표현에서의 확률적 특성을 모델링하면 동적 네트워크의 구조적 및 속성 변동성에 대해 얼마나 강력한가?
• RQ3 정규화 흐름과 예측 우선분포의 사용이 깊이 있는 변분 그래프 오토인코더의 안정성과 성능을 얼마나 향상시키는가?
• RQ4 제안된 방법은 준지도 설정에서 해석 가능한 확률적 점수를 통해 비정상 엣지와 노드를 탐지하고 국소화할 수 있는가?
• RQ5 스케일 수와 잠재 차원 수와 같은 하이퍼파rameter는 비정상성 탐지 성능에 어떤 영향을 미치는가?

주요 결과

• H-VGRAE는 UCI Message 및 Github를 포함한 네 개의 실세계 동적 네트워크 데이터셋에서 최신 기법들보다 유의미한 AUC 향상을 달성한다.
• 모델 성능은 M=2 스케일과 d=16 잠재 차원에서 최고에 도달하며, M>5 또는 d>32가 되면 과도한 확산 또는 잠재 공간의 노이즈로 인해 AUC가 감소한다.
• 엣지의 훈련 비율을 10%에서 40%로 늘일 경우 AUC가 급격히 상승하며, 40% 이상에서는 성능이 안정화된다.
• 시각화 결과 비정상 노드가 정상 노드와 유사한 잠재 표현으로 인코딩되는 것으로 나타나, H-VGRAE가 정상 패턴을 강력하게 학습하고 있음을 확인한다.
• 비정상 엣지의 복원 확률은 일관되게 낮게 유지되며, 정상 패턴에서의 이탈이 효과적으로 탐지됨을 검증한다.
• 정규화 흐름과 예측 우선분포를 통해 모델은 사후 붕괴 문제를 성공적으로 완화하여 깊이 있는 계층적 확률적 레이어의 안정적인 훈련을 가능하게 한다.