[논문 리뷰] DynGEM: Deep Embedding Method for Dynamic Graphs

Palash Goyal, Nitin Kamra외 2명|arXiv (Cornell University)|2018. 05. 29.

Advanced Graph Neural Networks참고 문헌 22인용 수 288

한 줄 요약

DynGEM은 성장하는 그래프에서 심층 오토인코더와 계층 확장 휴리스틱을 사용하여 안정적이고 확장 가능한 노드 임베딩을 점진적으로 학습하는 동적 그래프 임베딩 방법으로, 재구성, 링크 예측 및 안정성 측면에서 정적 베이스라인을 능가합니다.

ABSTRACT

Embedding large graphs in low dimensional spaces has recently attracted significant interest due to its wide applications such as graph visualization, link prediction and node classification. Existing methods focus on computing the embedding for static graphs. However, many graphs in practical applications are dynamic and evolve constantly over time. Naively applying existing embedding algorithms to each snapshot of dynamic graphs independently usually leads to unsatisfactory performance in terms of stability, flexibility and efficiency. In this work, we present an efficient algorithm DynGEM based on recent advances in deep autoencoders for graph embeddings, to address this problem. The major advantages of DynGEM include: (1) the embedding is stable over time, (2) it can handle growing dynamic graphs, and (3) it has better running time than using static embedding methods on each snapshot of a dynamic graph. We test DynGEM on a variety of tasks including graph visualization, graph reconstruction, link prediction and anomaly detection (on both synthetic and real datasets). Experimental results demonstrate the superior stability and scalability of our approach.

연구 동기 및 목표

• 시각화, 링크 예측, 이상 탐지와 같은 다운스트림 작업을 위한 동적이고 성장하는 그래프의 안정적인 임베딩을 촉진한다.
• 이전 임베딩 재사용을 통해 시계열 단계에 걸쳐 점진적으로 학습하는 확장 가능한 심층 오토인코더 프레임워크를 개발한다.
• 이전 가중치를 보존하면서 네트워크 아키텍처를 동적으로 확장하여 성장에 대응할 수 있도록 한다.
• 임베딩의 시간에 따른 일관성을 정량화하는 안정성 지표를 도입하고 베이스라인과 비교한다.

제안 방법

• 노드 이웃 정보를 저차원 임베딩으로 매핑하기 위해 심층 오토인코더를 사용한다(1차 및 2차 인접성).
• 시간 t의 임베딩을 시간 t-1의 임베딩에서 초기화하여 시간적 안정성을 높인다.
• 새 층 크기를 결정하는 PropSize 휴리스틱과 네트워크를 확장하기 위한 Net2WiderNet/Net2DeeperNet으로 성장하는 그래프를 처리한다.
• 재구성 및 근접성 목표를 균형 있게 하는 손실 L_net = L_glob + α L_loc + ν1 L1 + ν2 L2로 학습한다.
• 확장성 및 더 빠른 학습을 위해 ReLU 활성화를 사용하고, 과적합 방지를 위해 Nesterov 모멘텀과 정규화를 적용한다.
• 정의된 안정 상수를 사용하여 안정성을 평가하고 정적 베이스라인과의 확장성을 평가한다.

실험 결과

연구 질문

• RQ1 DynGEM이 동적이고 성장하는 그래프에서 시간에 따라 안정적인 임베딩을 제공할 수 있는가?
• RQ2 이전 시점의 임베딩 재사용이 학습 효율성과 확장성을 향상시키는가?
• RQ3 정적 임베딩 및 GF 기반 베이스라인과 비교하여 그래프 재구성 및 링크 예측에서 DynGEM의 성능은 어떻게 되는가?
• RQ4 동적 네트워크에서 시각화 및 이상 탐지에 이 방법이 유용한가?

주요 결과

• DynGEM은 SYN, ENRON, AS 데이터세트에서 높은 그래프 재구성 MAP를 달성하며, 예: DynGEM MAPs: SYN 0.987, ENRON 0.424; DynGEM은 종종 GF 기반 베이스라인을 능가하고 여러 데이터셋에서 SDNE와 경쟁하거나 더 나은 성능을 보인다.
• GF 기반 베이스라인 및 SDNE 변형에 비해 데이터세트 전반에서 링크 예측 MAP를 크게 개선한다(예: SYN 0.194, HEP-TH 0.26, AS 0.21, ENRON 0.084).
• 안정성: DynGEM은 SDNE 기반 베이스라인보다 현저히 낮은 안정 상수를 달성한다(예: SYN 0.008 대 SDNE 0.18, HEP-TH 1.469 대 SDNE 14.715, AS 0.125 대 6.25, ENRON 1.279 대 19.722).
• PropSize를 이용한 Net2WiderNet/Net2DeeperNet의 층 확장이 고정된 아키텍처보다 더 나은 성능을 낸다(HEP-TH: 재구성 MAP가 0.46에서 0.491로, 링크 예측이 0.19에서 0.26으로 향상).
• DynGEM은 데이터셋 전반에 걸쳐 SDNE 정렬 베이스라인 대비 2-3배의 속도향상을 제공하고, 더 긴 시계열(T=40)이 나타날 때도 규모가 잘 확장된다.
• DynGEM은 동적 임베딩의 시각화 및 이상 탐지 기능을 가능하게 한다(예: 스파이크가 있는 Enron 주간은 알려진 이벤트와 대응; 임베딩 변화 Δt로 이상 탐지가 가능).