[논문 리뷰] Variational Graph Recurrent Neural Networks

Ehsan Hajiramezanali, Arman Hasanzadeh외 4명|arXiv (Cornell University)|2019. 08. 26.

Advanced Graph Neural Networks참고 문헌 26인용 수 84

한 줄 요약

논문은 VGRNN과 SI-VGRNN을 소개합니다. 이는 동적 그래프의 토폴로지 변화와 노드 특성을 함께 모델링하기 위해 잠재 랜덤 벡터로 동적 그래프 노드를 임베딩하는 계층적 변분 모델이며, 유연한 후사분포를 위한 반-암시적 변분 추론을 사용합니다.

ABSTRACT

Representation learning over graph structured data has been mostly studied in static graph settings while efforts for modeling dynamic graphs are still scant. In this paper, we develop a novel hierarchical variational model that introduces additional latent random variables to jointly model the hidden states of a graph recurrent neural network (GRNN) to capture both topology and node attribute changes in dynamic graphs. We argue that the use of high-level latent random variables in this variational GRNN (VGRNN) can better capture potential variability observed in dynamic graphs as well as the uncertainty of node latent representation. With semi-implicit variational inference developed for this new VGRNN architecture (SI-VGRNN), we show that flexible non-Gaussian latent representations can further help dynamic graph analytic tasks. Our experiments with multiple real-world dynamic graph datasets demonstrate that SI-VGRNN and VGRNN consistently outperform the existing baseline and state-of-the-art methods by a significant margin in dynamic link prediction.

연구 동기 및 목표

• 시간에 따라 토폴로지와 속성이 진화하는 동적 그래프에서 노드 임베딩의 필요성을 제시합니다.
• 불확실성을 포착하기 위해 잠재적 확률 변수를 포함한 동적 그래프 자동인코더(GRNN)를 제안합니다.
• 높은 수준의 잠재 변수와 반-암시적 변분 추론을 통해 표현력을 높이고 유연한 posterior를 제공합니다.
• 시간 조건부 priors와 자기 회귀 그래프 구조를 학습함으로써 향후 링크 예측을 가능하게 합니다.

제안 방법

• 그래프 컨볼루션 네트워크(GCN)와 순환 네트워크를 결합해 그래프 순환 신경망(GRNN)을 형성합니다.
• 잠재 분포를 모델링하기 위해 GRNN을 변분 인코더/디코더로 확장해 VGRNN을 제안합니다.
• priors를 이전 은닉 상태 h_{t-1}에 조건화하고 φ^{prior}를 사용한 신경망 매핑으로 유연한 priors를 허용합니다.
• inner-product 디코더 p(A^{(t)}|Z^{(t)})를 사용해 Z^{(t)} 잠재 변수로 인접 행렬을 생성합니다.
• GNN 기반 인코더를 통해 q(Z^{(t)}|A^{(t)},X^{(t)},h_{t-1})를 추정하고 SI-VGRNN에서 반-암시적 증강을 포함합니다.
• 동적 그래프의 시간 의존성을 포착하며 시간에 걸친 변분 하한 ELBO를 최적화합니다.

실험 결과

연구 질문

• RQ1 노드 임베딩이 불확실성과 시간적 진화를 어떻게 포착하는가?
• RQ2 확률적 잠재 변수를 그래프 순환 구조와 결합하면 결정론적 기준선에 비해 동적 링크 예측이 개선되는가?
• RQ3 반-암시적 변분 추론이 동적 그래프 임베딩에 더 표현력이 있는 사후 분포를 제공하는가?
• RQ4 시간에 따라 변화하는 노드/에지 집합을 어떻게 처리하고 귀납적 및 추귀적 태스크를 가능하게 하는가?

주요 결과

• VGRNN과 SI-VGRNN은 다양한 실제 데이터 세트에서 동적 링크 예측 작업에 대해 일관되게 기준선 및 최첨단 방법을 능가합니다.
• 확률적 잠재 변수를 도입하면 결정론적 은닉 상태보다 동적 그래프의 변동성 및 불확실성 모델링이 향상됩니다.
• SI-VGRNN의 반-암시적 사후 분포는 더 유연한 잠재 표현을 제공하며 노드 속성이 이용 가능할 때 VGRNN보다 성능이 개선될 수 있습니다.
• 우리 접근법의 이점은 특히 드물고 덜 클러스터링된 그래프에서 더 두드러지는데, 이때 시간적 추세를 결정론적 모델로 포착하기가 더 어렵습니다.
• 과거 상태를 기반으로 한 사전 구성은 정적 VGAE의 능력을 넘어 미래 링크 예측(동적 신규 링크 예측 포함)을 가능하게 합니다.