[논문 리뷰] Graphite: Iterative Generative Modeling of Graphs

Aditya Grover, Aaron Zweig외 1명|arXiv (Cornell University)|2018. 03. 28.

Advanced Graph Neural Networks참고 문헌 72인용 수 37

한 줄 요약

Graphite는 추론과 새로운 반복적 복원 프로세스를 위한 그래프 신경망(GNN)을 사용하는 변분 자동차오디터(VAE)를 활용하여 대규모 그래프를 위한 딥 생성 모델을 제안한다. 다단계 메시지 전파를 통해 그래프 복원을 정교화함으로써, 밀도 추정, 링크 예측, 노드 분류에서 기존 방법들을 능가한다.

ABSTRACT

Graphs are a fundamental abstraction for modeling relational data. However, graphs are discrete and combinatorial in nature, and learning representations suitable for machine learning tasks poses statistical and computational challenges. In this work, we propose Graphite, an algorithmic framework for unsupervised learning of representations over nodes in large graphs using deep latent variable generative models. Our model parameterizes variational autoencoders (VAE) with graph neural networks, and uses a novel iterative graph refinement strategy inspired by low-rank approximations for decoding. On a wide variety of synthetic and benchmark datasets, Graphite outperforms competing approaches for the tasks of density estimation, link prediction, and node classification. Finally, we derive a theoretical connection between message passing in graph neural networks and mean-field variational inference.

연구 동기 및 목표

• 대규모 이산적이고 조합적 그래프 구조 데이터에 대한 비지도 표현 학습의 과제를 해결한다.
• 확장성과 이산적 그래프 구조에서 어려움을 겪는 기존 딥 생성 모델의 한계를 극복한다.
• 관측된 상호관계 구조를 모델링하기 위한 확장 가능하고 순열 불변 프레임워크를 개발한다.
• 반복적 개선을 통해 디코더에서 효과적인 잠재 변수 추론과 그래프 복원을 가능하게 한다.
• 그래프 신경망 메시지 전파와 잠재 변수 모델에서의 평균장 변분 추론 간 이론적 연결을 수립한다.

제안 방법

• 에코더와 디코더 양쪽에 그래프 신경망(GNN)을 사용하여 변분 자동차오디터(VAE)의 파라미터화를 수행한다.
• 잠재 특징 기반의 초기 그래프 복원에서 시작하는 다층 반복적 복원 절차를 사용한다.
• 중간 그래프에서 내적 곱 연산과 메시지 전파를 번갈아 적용하여 복원된 그래프를 정교화한다.
• GNN 레이어를 활용하여 반복적 개선을 구현함으로써 효율적이고 확장 가능한 그래프 복원을 가능하게 한다.
• 커널 임bedding를 활용하여 GNN 메시지 전파를 잠재 변수 모델에서의 평균장 변분 추론과 공식적으로 연결한다.
• 관측된 그래프의 로그우도에 대한 변분 하한을 최대화하기 위해 확률적 경사 하강법을 사용하여 모델을 종단 간(end-to-end)으로 훈련한다.

실험 결과

연구 질문

• RQ1 단일 단계 복원 대비 디코더에서의 반복적 그래프 정교화가 그래프 복원 및 표현 학습에 개선을 이끌 수 있는가?
• RQ2 제안된 반복적 복원 메커니즘이 기존의 순차적 또는 적대적 그래프 생성 방법에 비해 확장성과 성능 면에서 어떻게 비교되는가?
• RQ3 반복적 복원 프로세스가 링크 예측 및 노드 분류와 같은 후행 작업 성능에 얼마나 기여하는가?
• RQ4 잠재 변수 모델에서의 GNN 메시지 전파와 평균장 변분 추론 간 이론적 관계는 무엇인가?
• RQ5 이 프레임워크는 시간에 따라 변화하는 또는 이질적인 그래프와 같은 더 풍부한 그래프 구조를 모델링하는 데 확장될 수 있는가?

주요 결과

• Graphite는 합성 및 벤치마크 그래프에서 밀도 추정에서 경쟁 모델들을 능가하며, 향상된 가능도 모델링을 보여준다.
• 링크 예측 작업에서 최신 기술 수준의 성능을 달성하였으며, GAE 및 VGAE와 같은 기준 모델들보다 뚜렷한 성능 향상을 보였다.
• 반세미-지도적 노드 분류에서 강력한 성과를 기록하여 실제 데이터셋에서 학습된 표현의 효과성을 입증했다.
• 반복적 복원 메커니즘이 단일 단계 디코더보다 더 정확하고 안정적인 그래프 복원을 가능하게 했다.
• 이론적 분석을 통해 커널 임베딩 공식화 하에 GNN 메시지 전파가 평균장 변분 추론과 동일시됨을 확인했다.
• 실증 결과는 반복적 개선 전략이 성능 향상에 핵심적임을 보여주었으며, 제거 시 성능 저하가 발생하는 아블레이션 연구 결과가 이를 뒷받침한다.