[논문 리뷰] Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs

Li Sun, Zhongbao Zhang외 5명|arXiv (Cornell University)|2021. 04. 06.

Advanced Graph Neural Networks참고 문헌 44인용 수 6

한 줄 요약

이 논문은 초등각 공간에서 확률적이고 동적인 그래프 표현을 학습하는 데 있어 최초의 방법으로, 초등각 변동형 그래프 신경망(HVGNN)을 제안한다. 시간에 의존하는 GNN와 초등각 변동형 오토인코더, 재파arameterizable 샘플링 기법을 결합함으로써, 유클리드 기반 모델에 비해 그래프의 동적 변화와 불확실성을 더 효과적으로 모델링하며, 실제 데이터셋에서 링크 예측 및 노드 분류 작업에서 최신 기준 성능을 달성한다.

ABSTRACT

Learning representations for graphs plays a critical role in a wide spectrum of downstream applications. In this paper, we summarize the limitations of the prior works in three folds: representation space, modeling dynamics and modeling uncertainty. To bridge this gap, we propose to learn dynamic graph representation in hyperbolic space, for the first time, which aims to infer stochastic node representations. Working with hyperbolic space, we present a novel Hyperbolic Variational Graph Neural Network, referred to as HVGNN. In particular, to model the dynamics, we introduce a Temporal GNN (TGNN) based on a theoretically grounded time encoding approach. To model the uncertainty, we devise a hyperbolic graph variational autoencoder built upon the proposed TGNN to generate stochastic node representations of hyperbolic normal distributions. Furthermore, we introduce a reparameterisable sampling algorithm for the hyperbolic normal distribution to enable the gradient-based learning of HVGNN. Extensive experiments show that HVGNN outperforms state-of-the-art baselines on real-world datasets.

연구 동기 및 목표

• 기존 그래프 표현 학습 방법의 표현 공간, 동적 모델링, 불확실성 처리 측면에서의 한계를 해결하기 위해.
• 이론적으로 근거가 있는 시간 인코딩을 사용하여 시간 도메인에서 노드를 구분하고 시간에 따른 변화를 모델링하기 위해.
• 이중성 구조를 가진 그래프에 대해 초등각 공간이 더 적합한 표현 공간임을 탐색하기 위해.
• 노드를 초등각 공간에서 포장 정규 분포로 표현하여 그래프 형성 과정의 내재된 불확실성을 포괄하기 위해.
• 초등각 정규 분포에 대한 재파arameterizable 샘플링 알고리즘을 통해 엔드 투 엔드, 기울기 기반 학습을 가능하게 하기 위해.

제안 방법

• 이론적으로 타당한 시간 인코딩 방법을 사용하는 시간에 의존하는 GNN(TGNN)을 제안하여 시간 도메인에서의 노드를 구분하고 시간적 동적 변화를 모델링한다.
• 초등각 공간에서 포장 정규 분포로 이루어진 확률적 노드 표현을 생성하는 초등각 그래프 변동형 오토인코더(HGVAE)를 도입한다.
• 모델의 표현 능력을 향상시키고 그래프 구조에 적응하기 위해 초등각 공간에서의 훈련 가능한 곡률을 도입한다.
• 초등각 공간에서의 포장 정규 분포에 대한 재파arameterizable 샘플링 알고리즘을 설계하여 역전파 및 엔드 투 엔드 학습을 가능하게 한다.
• 초등각 다양체에서 연산을 수행하기 위해 지수 및 로그 맵을 포함한 리만 기반 최적화 기법을 활용한다.
• TGNN와 HGVAE를 통합하여 통합된 초등각 표현 프레임워크에서 시간적 변화와 불확실성을 동시에 모델링한다.

실험 결과

연구 질문

• RQ1 초등각 공간은 이론적으로 근거가 있는 시간 인코딩을 사용하여 시간에 의존하는 GNN와 함께 사용될 수 있는가?
• RQ2 시간에 의존하는 GNN와 함께 사용될 수 있는 시간 인식 주의 메커니즘을 초등각 공간에서 효과적으로 시간적 동적 변화를 모델링할 수 있는가?
• RQ3 초등각 공간에서의 확률적 표현은 결정론적 임bedding보다 노드 형성 과정의 불확실성을 더 잘 포괄할 수 있는가?
• RQ4 포장 정규 분포에 대한 재파arameterizable 샘플링 방법을 사용하여 초등각 공간에서 기울기 기반 학습이 가능한가?
• RQ5 초등각 공간, 동적 모델링, 불확실성 표현을 통합하면 하류 그래프 과제에서 성능 향상이 이루어지는가?

주요 결과

• HVGNN는 링크 예측 및 노드 분류 과제에서 실제 데이터셋에서 최신 기준 기반 모델을 능가하는 성능을 달성한다.
• 모델은 초등각 공간의 곡률 조정을 통해 뚜렷한 성능 향상을 보이며, 훈련 가능한 곡률의 유용성을 입증한다.
• 시간에 의존하는 GNN와 초등각 변동형 오토인코더의 통합은 동적 변화와 불확실성의 효과적인 모델링을 가능하게 한다.
• 제안된 재파arameterizable 샘플링 알고리즘은 초등각 공간에서 확률적 표현에 대한 기울기 기반 최적화를 성공적으로 가능하게 한다.
• 실험 결과는 초등각 공간이 유클리드 공간보다 계층적 그래프에 더 효과적인 표현 공간임을 보여준다.
• HVGNN는 내재된 계층적 구조를 가진 데이터셋에서 뛰어난 성능을 발휘하여 초등각 기하학이 이러한 그래프에 적합함을 확인한다.