[논문 리뷰] Graph Neural Ordinary Differential Equations

Michael Poli, Stefano Massaroli외 4명|arXiv (Cornell University)|2019. 11. 18.

Advanced Graph Neural Networks참고 문헌 69인용 수 61

한 줄 요약

GDEs는 그래프 기반 ODE로 노드 특징의 동역학을 매개변수화하여 연속 깊이 프레임워크를 제공하고, 이산 GNN보다 정적 및 동적 작업을 개선합니다. 이들은 그래프의 시퀀스를 모델링하고, 불규칙한 타임스탬프를 처리하며, 앞으로의 패스에 수치 ODE 솔버를 포함시킬 수 있습니다.

ABSTRACT

We introduce the framework of continuous--depth graph neural networks (GNNs). Graph neural ordinary differential equations (GDEs) are formalized as the counterpart to GNNs where the input-output relationship is determined by a continuum of GNN layers, blending discrete topological structures and differential equations. The proposed framework is shown to be compatible with various static and autoregressive GNN models. Results prove general effectiveness of GDEs: in static settings they offer computational advantages by incorporating numerical methods in their forward pass; in dynamic settings, on the other hand, they are shown to improve performance by exploiting the geometry of the underlying dynamics.

연구 동기 및 목표

• 연속 깊이 그래프 신경망을 도입하기 위해 그래프 신경 ODE(GDEs)를 GNN 계층의 연속체로 정의한다.
• GDEs가 정적 및 자기회귀 GNN 모델과의 호환성을 보인다.
• 정적 작업 및 동적 설정에서 GDEs의 계산 및 정확도 이점을 입증한다.
• 노드 분류, 궤적 외삽, 교통 예측에서 GDE를 검증한다.

제안 방법

• dot{H}(s)=F_G(H(s), Θ)이고 H(0)=X_e인 Cauchy 문제로 GDE를 형식화한다.
• F_G를 그래프 조건 벡터장으로 정의하여 그래프 G에 대한 깊이 변동 동역학을 가능하게 한다.
• GCDE와 같은 정적 모델에 특화하고 GCN의 연속 대응체와의 관련성을 보인다.
• 자기회귀 그래프 시퀀스에 대해 혼합 연속-이산 동역학을 통해 GDE를 시공-공간 설정으로 확장한다.
• 역전파, adjoint 방법 또는 안정성 고려가 있는 스펙트럴 요소 이산화로 학습한다.
• 고정 스텝 및 가변 ODE 솔버(RK 방법, Dormand-Prince 등)로 평가한다.

실험 결과

연구 질문

• RQ1 연속 깊이 GDE가 표준 노드 분류 벤치마크에서 전통적 GNN의 성능과 일치하거나 능가할 수 있는가?
• RQ2 GCDE가 수치 ODE 솔버를 활용해 더 나은 또는 비슷한 정확도와 잠재적 깊이 이점을 달성하는가?
• RQ3 자기회귀 GDE가 불규칙한 타임스탬프의 그래프 시퀀스를 모델링하고 이산 모델보다 근본적인 동역학을 더 효과적으로 포착할 수 있는가?
• RQ4 정적 GDE에서 고정 대 가변 솔버 스키마의 이점과 한계는 무엇인가?
• RQ5 궤적 외삽 및 교통 예측과 같은 동적 작업에서 GDE는 neural ODE 및 표준 RNN/GRU baselines에 비해 어떤 성능을 보이는가?

주요 결과

모델 (NFE)	Cora	Citeseer	Pubmed
GCN (NFE not shown)	81.4±0.5%	70.9±0.5%	79.0±0.3%
GCN ∗	82.8±0.3%	71.2±0.4%	79.5±0.4%
GCDE–rk2 (2)	83.0±0.6%	72.3±0.5%	79.9±0.3%
GCDE–rk4 (4)	83.8±0.5%	72.5±0.5%	79.5±0.4%
GCDE–dpr5 (158)	81.8±1.2%	68.3±1.2%	78.5±0.7%

• 더 높은 차수 솔버(rk4)를 사용하는 GCDE 변형은 Cora, Citeseer, Pubmed에서 표준 GCN 베이스라인을 능가할 수 있다.
• 적응적 스텝 GCDE는 더 깊은 유효 모델을 제공하지만 많은 함수 평가(NFE)에서 과적합될 수 있다.
• GCDE는 더 긴 적분 시간에 대해 강인성을 보이며 정적 작업에서 노드 과평활화를 완화할 수 있다.
• 다중 에이전트 궤적 외삽에서 GCDE(또는 GCDE-II 포함)는 Relational 구조를 활용하여 Neural ODE 및 일반 GCDE를 능가한다.
• 불규칙 샘플링 하의 교통 예측에서 GCDE-GRU 모델은 다양한 undersampling 규칙에서 GRU 및 GCGRU를 능가한다.