[논문 리뷰] dynnode2vec: Scalable Dynamic Network Embedding

Sedigheh Mahdavi, Shima Khoshraftar외 1명|arXiv (Cornell University)|2018. 12. 06.

Advanced Graph Neural Networks참고 문헌 20인용 수 5

한 줄 요약

이 논문은 동적 네트워크에서 시간에 따른 변화를 효율적으로 포착하기 위해 node2vec을 확장한 확장 가능한 동적 네트워크 임베딩 방법인 dynnode2vec을 제안한다. 이 방법은 변화하는 무작위 보행을 사용하고, 이전 임베딩을 기반으로 Skip-gram 모델을 초기화하여 대규모 동적 네트워크에서의 시간적 변화를 효과적으로 학습한다. 실제 데이터셋을 대상으로 한 실험에서 링크 예측, 노드 분류, 이상 탐지 등의 작업에서 경쟁력 있는 성능을 유지하면서도, node2vec 대비 최대 5배 빠른 속도 향상을 달성하였다.

ABSTRACT

Network representation learning in low dimensional vector space has attracted considerable attention in both academic and industrial domains. Most real-world networks are dynamic with addition/deletion of nodes and edges. The existing graph embedding methods are designed for static networks and they cannot capture evolving patterns in a large dynamic network. In this paper, we propose a dynamic embedding method, dynnode2vec, based on the well-known graph embedding method node2vec. Node2vec is a random walk based embedding method for static networks. Applying static network embedding in dynamic settings has two crucial problems: 1) Generating random walks for every time step is time consuming 2) Embedding vector spaces in each timestamp are different. In order to tackle these challenges, dynnode2vec uses evolving random walks and initializes the current graph embedding with previous embedding vectors. We demonstrate the advantages of the proposed dynamic network embedding by conducting empirical evaluations on several large dynamic network datasets.

연구 동기 및 목표

• 시간이 지남에 따라 변화하는 네트워크 구조를 포착하는 데에 한계가 있는 정적 그래프 임베딩 방법의 문제점을 해결하기 위해.
• 동적 네트워크에서 각 타임스탬프마다 임베딩을 다시 학습하는 데에 드는 높은 계산 비용을 완화하기 위해.
• 연속적인 타임스탬프 간에 변화한 노드에만 초점을 맞춰 무작위 보행 생성을 제한함으로써 실행 시간을 단축하기 위해.
• 이전 타임스탬프의 임베딩 벡터를 사용해 Skip-gram 모델을 초기화함으로써 시간에 따른 임베딩 일관성을 유지하기 위해.
• 링크 예측, 노드 분류, 이상 탐지와 같은 동적 네트워크 작업에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 연속적인 타임스탬프 간에 구조적 변화(추가, 삭제, 가중치 변화)가 발생한 노드에 대해서만 변화하는 무작위 보행을 생성한다.
• 각 타임스탬프에서 이전 타임스탬프의 임베딩 벡터를 사용해 Skip-gram 모델을 초기화함으로써 부드러운 시간적 표현 학습을 보장한다.
• 동적 워드 임베딩에서 영감을 얻은 동적 Skip-gram 모델 아키텍처를 활용하여 노드 표현의 점진적 업데이트를 가능하게 한다.
• 이중 단계 프로세스를 사용한다: 먼저 표준 node2vec을 사용해 $G_1$에서 학습을 수행한 후, $G_2$에서 $G_T$까지 변화하는 보행과 전달된 가중치를 활용해 임베딩을 점진적으로 업데이트한다.
• 변화하는 노드를 $\Delta V_t = V_{\text{add}} \cup \{v_i \in V_t \mid \exists e_i = (v_i, v_j) \in (E_{\text{add}} \cup E_{\text{del}})\}$로 정의하여, 보행 생성을 이 하위집합으로 제한한다.
• 변화하는 노드와 그 이웃의 임베딩만 업데이트함으로써 계산 오버헤드를 최소화하면서도 표현 품질을 유지한다.

실험 결과

연구 질문

• RQ1 동적 네트워크 임베딩 방법이 변화하는 노드에만 초점을 맞춰 무작위 보행을 생성함으로써 학습 시간을 줄일 수 있는가?
• RQ2 이전 임베딩을 사용해 Skip-gram 모델을 초기화하는 것이 동적 노드 표현의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 dynnode2vec이 링크 예측, 노드 분류, 이상 탐지에서 정적 및 기존 동적 기준 대비 얼마나 뛰어난 성능을 보이는가?
• RQ4 변화하는 무작위 보행과 전이 학습이 정확도를 희생시키지 않으면서도 확장성을 어떻게 향상시키는가?
• RQ5 dynnode2vec은 시간에 따른 임베딩 벡터 노름의 변화를 측정함으로써 동적 네트워크의 구조적 이상을 탐지할 수 있는가?

주요 결과

• AS 데이터셋에서 dynnode2vec는 표준 node2vec 대비 최대 5.2배 빠른 속도를 기록하여 50개 타임스탬프 기준 4.49분 대비 23.22분을 소요한다.
• Hep-th 데이터셋에서는 dynnode2vec가 1.25분에 실행되는 데 반해, dynnode2vec-all은 13.52분을 소요하여 10.8배의 속도 향상을 기록한다.
• 링크 예측에서 AS 데이터셋에서 dynnode2vec는 AUC 0.9625를 기록했으며, dynnode2vec-all(0.9799)과 유사한 성능을 보여 계산 감소에도 불구하고 정확도 손실가 최소화됨을 확인한다.
• DBLP 데이터셋에서의 노드 분류 작업에서 dynnode2vec는 마이크로-F1 스코어 0.5415를 기록했으며, DeepWalk(0.5337)과 node2vec(0.5272)를 모두 초월한다.
• DARPA 데이터셋에서의 이상 탐지 결과, dynnode2vec는 알려진 공격 이벤트와 대응하는 임베딩 노름 차이의 세 개의 큰 피크를 탐지하여 구조적 변화에 민감함을 확인한다.
• 다양한 데이터셋에서 높은 성능을 유지한다: 링크 예측에서 Hep-th(0.9975), Enron(0.9012), St-Ov(0.8886)에서 AUC 스코어를 기록하여 다양한 데이터셋에 대한 강건성을 입증한다.