[논문 리뷰] Continuous Graph Neural Networks

Louis-Pascal Xhonneux, Meng Qu외 1명|arXiv (Cornell University)|2019. 12. 02.

Advanced Graph Neural Networks참고 문헌 36인용 수 41

한 줄 요약

CGNN은 ODE를 통해 연속-시간 그래프 신경망을 제안하여 노드 표현을 모델링하고, 과도한 스무딩(over-smoothing)을 해결하고 깊은 전파를 가능하게 하며 벤치마크 그래프에서 강력한 노드 분류 성능을 보인다.

ABSTRACT

This paper builds on the connection between graph neural networks and traditional dynamical systems. We propose continuous graph neural networks (CGNN), which generalise existing graph neural networks with discrete dynamics in that they can be viewed as a specific discretisation scheme. The key idea is how to characterise the continuous dynamics of node representations, i.e. the derivatives of node representations, w.r.t. time. Inspired by existing diffusion-based methods on graphs (e.g. PageRank and epidemic models on social networks), we define the derivatives as a combination of the current node representations, the representations of neighbors, and the initial values of the nodes. We propose and analyse two possible dynamics on graphs---including each dimension of node representations (a.k.a. the feature channel) change independently or interact with each other---both with theoretical justification. The proposed continuous graph neural networks are robust to over-smoothing and hence allow us to build deeper networks, which in turn are able to capture the long-range dependencies between nodes. Experimental results on the task of node classification demonstrate the effectiveness of our proposed approach over competitive baselines.

연구 동기 및 목표

• 그래프 신경망(GNNs)의 동기를 제시하고 깊이를 제한하는 과도한 스무딩 문제를 제시합니다.
• 확산 방법에서 영감을 얻은 ODE를 통해 노드 표현에 연속-시간 동역학을 도입합니다.
• 독립 피처 채널과 채널 상호 작용이라는 두 가지 증가하는 용량의 ODE를 제공합니다.
• 고정점 및 장기 의존성 능력을 이론적으로 분석합니다.
• 메모리 효율성을 강조하면서 노드 분류에서 실험적 이득을 시연합니다.

제안 방법

• 확산 기반 전파에서 파생된 ODE를 통해 H(t)가 진화하는 노드 표현을 정의합니다.
• 사례 1: 독립 피처 채널은 dH/dt = (A - I)H(t) + E 이고 H(0)=E 로 이어집니다.
• 해석적 해를 증명하고 t→∞일 때 H(t) ≈ (I - A)^{-1}E 로 수렴하는 것을 보인다.
• 사례 2: H'(t) = (A - I)H(t) + H(t)(W - I) + E 로 채널 간 상호 작용을 도입하고 W를 고유값이 < 1인 대각화 가능하도록 안정화합니다.
• 로그 항을 단순화하고 실용적 계산을 가능하게 하기 위해 테일러 근사를 사용합니다.
• 메모리 효율적인 역전파를 위해 adjoint 방법을 사용합니다.

실험 결과

연구 질문

• RQ1 확산 영감을 받은 그래프 전파에 기반한 연속-시간 ODE가 과도한 스무딩을 피하면서 깊은 표현을 가능하게 할 수 있는가?
• RQ2 독립 피처 채널과 상호 작용 채널이 그래프 학습에 어떻게 영향을 미치는가?
• RQ3 제안된 CGNN 동역학의 이론적 특성(예: 고정점, 수렴)은 무엇인가?
• RQ4 표준 노드 분류 벤치마크에서 CGNN이 이산 GNN 및 동시 연속 접근법과 비교하여 어떤 성능을 보이는가?

주요 결과

• CGNN은 Cora, Citeseer, Pubmed, NELL에서 강력한 노드 분류 성능을 달성하며 여러 베이스라인을 능가한다.
• 모델은 통합 시간에 대해 강건하며 시간이 증가해도 정보 손실을 겪지 않아 사실상 무한 깊이 해석이 가능하다.
• 채널 상호 작용(가중치)을 가진 변형은 비슷한 이득을 제공하며 더 도전적인 그래프에서 잠재적 이점을 가진다.
• CGNN은 adjoint 방법을 통해 메모리 효율성을 보여주며 깊이에 걸쳐 일정한 메모리 비용을 유지한다.
• CGNN은 여러 데이터셋에서 이산 전파 베이스라인(GCN, GAT) 및 동시 ODE 기반 방법(GODE)을 능가한다.
• 이론적 분석은 동역학이 그래프 구조와 초기 특징을 모두 포착하는 정적 표현으로 수렴한다는 것을 보여준다.