[논문 리뷰] EIGNN: Efficient Infinite-Depth Graph Neural Networks

Juncheng Liu, Kenji Kawaguchi외 3명|arXiv (Cornell University)|2022. 02. 22.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 유한 깊이의 GNN이 과도하게 평균화되는 문제와 계산 비용으로 인해 장거리 의존성을 포착하는 데 한계가 있음을 해결하기 위해, 반복적 풀이기를 피하고 닫힌 형태의 해를 유도함으로써 무한 깊이의 그래프 신경망인 EIGNN을 제안한다. 이는 합성 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며 노이즈와 적대적 변형에 대한 강건성도 향상시킨다. 고유분해를 통해 계산 효율성이 향상된다.

ABSTRACT

Graph neural networks (GNNs) are widely used for modelling graph-structured data in numerous applications. However, with their inherently finite aggregation layers, existing GNN models may not be able to effectively capture long-range dependencies in the underlying graphs. Motivated by this limitation, we propose a GNN model with infinite depth, which we call Efficient Infinite-Depth Graph Neural Networks (EIGNN), to efficiently capture very long-range dependencies. We theoretically derive a closed-form solution of EIGNN which makes training an infinite-depth GNN model tractable. We then further show that we can achieve more efficient computation for training EIGNN by using eigendecomposition. The empirical results of comprehensive experiments on synthetic and real-world datasets show that EIGNN has a better ability to capture long-range dependencies than recent baselines, and consistently achieves state-of-the-art performance. Furthermore, we show that our model is also more robust against both noise and adversarial perturbations on node features.

연구 동기 및 목표

• 유한 깊이의 GNN이 과도한 평균화와 계산 비용으로 인해 장거리 의존성을 포착하는 데 한계가 있음을 해결하기 위해.
• 기존의 암시적 GNN 모델인 IGNN과 같이 반복적 풀이기에서 기인한 불안정성과 비효율성을 극복하기 위해.
• 수렴 문제 없이 무한 깊이의 메시지 전파가 가능한 다루기 쉬운, 확장 가능한, 강건한 GNN 프레임워크를 개발하기 위해.
• 정확도를 유지하면서도 고유분해를 통해 계산 효율성을 향상시키기 위해.

제안 방법

• EIGNN을 무한 개의 그래프 컨볼루션 수열의 극한으로 수식화하고 이론적 수렴성을 증명한다.
• 전향 및 역전파를 위한 닫힌 형태의 해를 유도함으로써 반복적 풀이기와 투영된 경사 하강법의 필요성을 제거한다.
• 학습 중 계산 및 메모리 복잡도를 감소시키기 위해 그래프 전이 행렬의 고유분해를 활용한다.
• 대규모 그래프를 다루기 위한 확장 가능한 사전처리 전략으로서 절단된 고유분해와 그래프 분할을 적용한다.
• 무한 깊이의 공식화에 기반해 설계상으로도 과도한 평균화를 자연스럽게 피할 수 있도록 모델을 설계한다.
• 닫힌 형태의 해를 통해 엔드 투 엔드 미분 가능성과 안정성을 확보함으로써 신뢰할 수 있는 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 반복적 풀이기를 의존하지 않고도 GNN 모델이 무한 깊이에 도달할 수 있으며, 만약 가능하다면 어떻게 효율적으로 훈련시킬 수 있는가?
• RQ2 무한 깊이 GNN에 대한 닫힌 형태의 해가 유한 깊이나 반복적 모델보다 더 나은 장거리 의존성 학습을 이끌 수 있는가?
• RQ3 고유분해가 정확도를 훼손하지 않으면서도 무한 깊이 GNN 훈련의 계산 비용을 상당히 감소시킬 수 있는가?
• RQ4 기존 GNN 모델과 비교해 EIGNN은 특성 노이즈와 적대적 변형에 대해 얼마나 강건한가?
• RQ5 제안된 모델은 대규모 그래프에 대해 확장 가능한가? 고유분해 비용을 완화하기 위한 사전처리 기법은 무엇인가?

주요 결과

• EIGNN은 다양한 체인 길이를 가진 합성 데이터셋에서 모든 베이스라인(IGNN 및 APPNP 포함)을 앞서는 최신 기술 수준의 성능을 달성한다.
• 장거리 체인 데이터셋에서 EIGNN은 체인 길이가 100에 이르는 상황에서도 높은 테스트 정확도를 유지하지만, GCN 및 APPNP와 같은 베이스라인은 상당히 떨어진다.
• T-검정을 통한 p-값 분석 결과, EIGNN의 성능 향상은 모든 체인 길이에서 통계적으로 유의미하다(p < 0.001)는 것이 확인되었다.
• EIGNN은 특성 노이즈와 적대적 변형 모두에 대해 뛰어난 강건성을 보이며, 이러한 환경에서 기존 모델을 능가한다.
• 고유분해의 사용은 계산 복잡도를 감소시키며, 절단된 고유분해가 대규모 그래프에 대해 실현 가능하고 효율적인 사전처리 단계로 입증되었다.
• IGNN에서 관찰되는 수렴 불안정성과 최적화의 불안정성 문제를 EIGNN은 피할 수 있다. 이는 반복적 풀이기에서 근사된 해를 사용하기 때문이다.