[논문 리뷰] Representation Learning over Dynamic Graphs

Rakshit Trivedi, Mehrdad Farajtabar외 2명|arXiv (Cornell University)|2018. 03. 11.

Advanced Graph Neural Networks참고 문헌 30인용 수 47

한 줄 요약

DyRep은 시간 스케일 인식의 시간 점 프로세스와 매개 기반 임베딩 업데이트를 통해 연관성(토폴로지) 및 통신(상호 작용) 이벤트를 공동으로 모델링하고 업데이트하여 동적 그래프에서 시간에 따라 진화하는 노드 임베딩을 학습하는 귀납적 심층 프레임워크이다.

ABSTRACT

How can we effectively encode evolving information over dynamic graphs into low-dimensional representations? In this paper, we propose DyRep, an inductive deep representation learning framework that learns a set of functions to efficiently produce low-dimensional node embeddings that evolves over time. The learned embeddings drive the dynamics of two key processes namely, communication and association between nodes in dynamic graphs. These processes exhibit complex nonlinear dynamics that evolve at different time scales and subsequently contribute to the update of node embeddings. We employ a time-scale dependent multivariate point process model to capture these dynamics. We devise an efficient unsupervised learning procedure and demonstrate that our approach significantly outperforms representative baselines on two real-world datasets for the problem of dynamic link prediction and event time prediction.

연구 동기 및 목표

• 두 가지 상호 작용하는 프로세스인 연관성(토폴로지 성장) 및 통신(상호 작용)에 의해 동적 그래프에서 원칙에 기반한 표현 학습의 필요성을 제시한다.
• 두 프로세스를 매개하는 시간에 따라 진화하는 노드 임베딩을 학습하기 위한 단일하고 귀납적 프레임워크를 제안한다.
• 다중 시간 축에서의 비선형 동역학을 포착하기 위해 시간 규모 의존적인 포인트 프로세스 모델과 심층 임베딩 업데이트를 개발한다.
• 효율적인 학습 절차를 통해 대용량 이벤트 수에 대한 확장성을 보장한다.

제안 방법

• 그래프에서 두 개의 시간적 프로세스 정의: Association(토폴로지 성장)와 Communication(상호 작용).
• 세 가지 핵심 함수로 DyRep를 도입: Temporal Function(신경망을 통한 다중 시간 규모의 조건부 강도), Embedding Update Function(심층 순환 업데이트), Attentive Aggregate Function(강도 보강 주의집중).
• 호환성 점수 g_k(t) = ω_k^T [z^u(t); z^v(t)]를 사용하여 시간 규모 의존 소프트플러스: f_k(x) = ψ_k log(1+exp(x/ψ_k))로 조건부 강도 λ_k^{u,v}(t)를 매개화한다.
• 세 가지 항 업데이트로 노드 임베딩을 업데이트: 이웃 u로부터의 국소 임베딩 전파, 노드 자신으로부터의 자기 전파, 경과 시간에 따른 외생 구동(Eq. 4).
• 공유 확률 행렬 S와 1 hop 이웃을 통해 이웃 정보를 집계하는 강도 기반 주의 메커니즘을 사용(Eq.5 및 관련).
• 생존 항에 대한 효율적인 대리함수를 사용하여 관찰된 이벤트의 가능도 로그를 최대화하여 학습하고 확장성을 달성한다(Eq. 7 및 Algorithm 2).

실험 결과

연구 질문

• RQ1 단일 귀납 프레임워크가 동적 그래프에서 토폴로지 변화와 상호 작용 역학을 모두 포착하는 시간에 따라 진화하는 노드 임베딩을 학습할 수 있는가?
• RQ2 시간 규모를 인식하는 시점 포인트 프로세스와 매개 기반 임베딩 업데이트의 조합이 동적 링크 예측 및 이벤트 시간 예측에서 기준선보다 우수한가?
• RQ3 강도 기반 주의 메커니즘이 그래프를 통해 중간 규모의 정보를 효과적으로 전달하여 임베딩을 업데이트할 수 있는가?
• RQ4 제안된 학습 절차가 예측 정확도를 유지하면서 대량의 이벤트에 대해 확장 가능한가?
• RQ5 다른 네트워크 특성을 가진 실제 데이터 세트에서 동적 링크 예측 및 이벤트 시간 예측은 어떻게 성능을 발휘하는가?

주요 결과

• DyRep는 두 개의 실제 데이터 세트에서 동적 링크 예측 및 이벤트 시간 예측에서 대표적인 기준선보다 현저히 우수한 성능을 보인다.
• 모델은 이벤트 유형별 시간 규모 매개변수를 학습하고 소프트플러스 기반 강도를 사용하여 다중 스케일 동역학을 처리한다.
• 임베딩 업데이트는 국소적 전파, 자기 전파 및 외생 구동을 결합하여 이벤트 주도 변화를 반영한다.
• 강도 기반 주의 메커니즘은 국소 이웃을 통해 중간 규모 정보의 전파를 가능하게 한다.
• 학습 절차는 이벤트 수에 대해 선형적으로 확장되며 웹 규모의 동적 네트워크를 가능하게 한다.
• DyRep은 사회적 진화와 Github 데이터 세트 모두에서 통신 및 연결(association) 이벤트 모두에 대해 강력한 성능을 보인다.