[논문 리뷰] Implicit Graph Neural Networks

Fangda Gu, Heng Chang외 3명|arXiv (Cornell University)|2020. 09. 14.

Advanced Graph Neural Networks참고 문헌 53인용 수 45

한 줄 요약

IGNN은 PF 기반의 잘 정의된 임의 고정점 그래프 신경망 프레임워크를 도입하고, projected gradient와 implicit differentiation으로 학습하여 강력한 장거리 의존성 모델링을 달성하며 이기종 그래프까지 확장합니다.

ABSTRACT

Graph Neural Networks (GNNs) are widely used deep learning models that learn meaningful representations from graph-structured data. Due to the finite nature of the underlying recurrent structure, current GNN methods may struggle to capture long-range dependencies in underlying graphs. To overcome this difficulty, we propose a graph learning framework, called Implicit Graph Neural Networks (IGNN), where predictions are based on the solution of a fixed-point equilibrium equation involving implicitly defined "state" vectors. We use the Perron-Frobenius theory to derive sufficient conditions that ensure well-posedness of the framework. Leveraging implicit differentiation, we derive a tractable projected gradient descent method to train the framework. Experiments on a comprehensive range of tasks show that IGNNs consistently capture long-range dependencies and outperform the state-of-the-art GNN models.

연구 동기 및 목표

• 그래프에서의 한정된 홉(GNN)의 한계를 극복하여 긴 범위 의존성을 포착한다.
• Perron-Frobenius 이론을 사용하는 균형 있는 GNN를 위한 수학적 well-posedness 프레임워크를 제공한다.
• 투영 기울기 하강법과 암시적 미분을 통한 실현 가능한 학습 방법을 개발한다.
• Relation별 매개변수를 가진 이종 네트워크로 IGNN을 확장한다.
• 노드 및 그래프 분류 작업 전반에서 IGNN의 최신 GNN 대비 경험적 우수성을 입증한다.

제안 방법

• IGNN 예측을 Y = f_Θ(X)로 정의하고 X가 X = φ(W X A + b_Ω(U))의 평형을 해로 해결한다.
• 구성요소별 비확행성(CONE) 활성화 φ와 PF 이론을 사용하여 X의 존재성 및 유일성에 대한 충분조건을 도출한다.
• 프로젝션을 통한 ||W||_∞ ≤ κ/λ_pf(A) 같은 잘 정의성 제약을 강제하는 투영 기울기 하강법으로 학습하고, 암시적 미분을 통해 정확한 그래디언트를 계산한다.
• 이종 네트워크로 확장: X = φ(∑_i (W_i X A_i + b_{Ω_i}(U_i))).
• 이종 설정에서의 학습을 위한 계산적으로 다루기 쉬운 볼록 조건: ∑_i ||A_i||_1 ||W_i||_∞ ≤ κ < 1.
• 양의 동차 φ의 경우 PF 조건은 W를 재스케일링함으로써 충족될 수 있음을 보인다(정리 4.3).

실험 결과

연구 질문

• RQ1 그래프 및 활성화 선택 하에서 노드 표현에 대해 균형 상태(암시적) GNN가 고유해 솔루션을 가질 수 있는가?
• RQ2 잘 정의성을 유지하면서 암시적 미분을 사용하여 정확한 그래디언트로 IGNN을 효율적으로 학습할 수 있는가?
• RQ3 IGNN이 유한 반복 GNN보다 다양한 작업에서 장거리 의존성을 더 잘 포착하는가?
• RQ4 다중 관계 유형을 가진 이종 그래프에서 IGNN의 성능은 최신 기준선과 비교해 어떤가?
• RQ5 노드 및 그래프 분류 벤치마크에서 IGNN이 얻는 실질적 이익은 무엇인가?

주요 결과

• IGNN은 일관되게 장거리 의존성을 포착하고 다양한 작업에서 최첨단 GNN을 능가한다.
• 합성 Chains 데이터에서 체인 길이가 늘어남에 따라 IGNN은 유한 반복 GNN보다 우수하며, 가장 긴 체인에서는 유한 T-반복 GNN이 실패한다.
• PPI 노드 분류에서 IGNN은 Micro-F1 97.6%를 달성하여 SSE(83.6%)보다 높고 GAT(97.3%)보다 약간 높다.
• 아마존 다중 레이블 노드 분류 작업에서 감독 신호가 증가함에 따라 IGNN이 베이스라인을 상회하며 장거리 의존성 처리가 견고하다.
• 그래프 분류 결과에서 IGNN이 5개 데이터셋 중 4개에서 최상의 성능을 달성하였고, 데이터셋별 최상 성능은 MUTAG: 89.3±6.7, PTC: 70.1±5.6, COX2: 86.9±4.0, PROTEINS: 77.7±3.4, NCI1: 80.5±1.9이다.
• 이종 네트워크( ACM, IMDB, DBLP )에서 IGNN은 ACM 및 IMDB에서 최고 성능을 달성하고 DBLP에서 경쟁력 있는 결과를 보인다(ACM/IMDB 최상; DBLP에서 경쟁력).