[논문 리뷰] Gradient Gating for Deep Multi-Rate Learning on Graphs

T. Konstantin Rusch, Benjamin Paul Chamberlain외 3명|arXiv (Cornell University)|2022. 10. 02.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 다중 속도 메시지 전파와 국소적 기울기를 사용하여 과도한 스무딩을 방지함으로써 그래프 신경망(GNNs)의 성능을 향상시키는 새로운 프레임워크인 기울기 게이팅(G²)을 소개한다. 표준 GNN 레이어를 노드별 속도 및 기울기로 조절되는 학습 가능한 게이팅으로 감싸는 방식으로, G²는 매우 깊은 GNN의 학습을 가능하게 하고 이질적 그래프 벤치마크, 특히 대규모 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We present Gradient Gating (G$^2$), a novel framework for improving the performance of Graph Neural Networks (GNNs). Our framework is based on gating the output of GNN layers with a mechanism for multi-rate flow of message passing information across nodes of the underlying graph. Local gradients are harnessed to further modulate message passing updates. Our framework flexibly allows one to use any basic GNN layer as a wrapper around which the multi-rate gradient gating mechanism is built. We rigorously prove that G$^2$ alleviates the oversmoothing problem and allows the design of deep GNNs. Empirical results are presented to demonstrate that the proposed framework achieves state-of-the-art performance on a variety of graph learning tasks, including on large-scale heterophilic graphs.

연구 동기 및 목표

• 깊은 GNN에서 노드 특징이 각 레이어를 거쳐 동일한 값으로 수렴하는 과도한 스무딩 문제를 해결하기 위해.
• 이질적 그래프에서 이웃 노드의 특징과 다를 수 있는 노드의 경우, 각 노드별로 가변적인 업데이트 속도를 允여하여 효율적인 학습을 가능하게 하기 위해.
• 기존의 MPNN들과 호환 가능한 융통성 있고 플러그인 방식의 프레임워크를 통해 GNN의 일반화 능력과 확장성을 향상시키기 위해.
• 기울기 게이팅이 과도한 스무딩을 방지함을 연속적인 동역학 시스템 분석을 통해 엄밀히 증명하기 위해.
• 합성 데이터, 벤치마크, 대규모 이질적 그래프 데이터셋에서 G²의 경험적 검증을 통해 뛰어난 성능을 입증하기 위해.

제안 방법

• G²는 각 노드의 업데이트가 학습 가능한 속도 게이팅에 의해 조절되는 다중 속도 메시지 전파 메커니즘을 도입하여 그래프 전반에서 다른 전파 속도를 가능하게 한다.
• 프레임워크는 손실 함수에서 유도된 국소 기울기를 사용하여 게이팅 메커니즘을 동적으로 조절함으로써 학습 중 특징 표현의 안정성을 확보한다.
• 기본 결합 함수로 표준 GNN 레이어(GCN, GAT, GIN 등)를 사용할 수 있어 G²는 플러그인 방식의 개선 기능이 된다.
• 이 방법은 비선형 상미분방정식의 시스템에 대한 시간 이산화로 해석될 수 있으며, 안정성과 과도한 스무딩에 대한 이론적 분석이 가능하다.
• G²의 연속 근사값을 유도하여, 기울기 게이팅이 딜리클레 에너지의 붕괴를 방지함을 증명하는 데 사용된다. 이는 과도한 스무딩의 핵심 지표이다.
• 게이팅과 모델 파라미터를 함께 최적화하는 표준 backpropagation을 사용하여 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 다중 속도 메시지 전파 메커니즘이 깊은 GNN에서 과도한 스무딩을 방지할 수 있는가?
• RQ2 게이팅 메커니즘에 국소 기울기를 통합함으로써 특징 표현이 안정화되고 일반화 능력이 향상되는가?
• RQ3 G²는 대규모 이질적 그래프 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 G²는 안정성에 대한 엄밀한 이론적 분석이 가능한 연속적인 동역학 시스템으로 해석될 수 있는가?
• RQ5 다중 속도 게이팅 메커니즘은 이질적인 특징 스케일을 가진 노드 회귀 및 분류 작업에서 성능에 어떤 영향을 미치는가?

주요 결과

• G²는 연속적인 ODE 시스템의 안정성 분석을 통해, 수백 개의 레이어를 거쳐도 일정한 딜리클레 에너지를 유지함으로써 과도한 스무딩을 방지함을 입증한다.
• 프레임워크는 정확도가 깊이에 비례하여 증가하는 매우 깊은 GNN의 학습을 가능하게 하여, 과도한 스무딩이 완화되면 깊이가 유의미하게 기여함을 보여준다.
• 다양한 스케일의 특징을 포함하는 노드 회귀 작업에서는 G²가 다중 속도 메커니즘 덕분에 기존의 베이스라인보다 뚜렷한 승리를 거두었다.
• 이질적 그래프에서 G²는 최신 기술 수준의 성능을 달성하였으며, 이질성 수준이 높아질수록 성능 향상이 더욱 두드러졌다.
• 대규모 이질적 그래프 데이터셋에서의 경험적 결과는 G²가 최근의 SOTA 방법들, 특히 과도한 압축 또는 과도한 스무딩 완화를 위한 것으로 설계된 방법들보다 일관되게 뛰어난 성능을 보였다.
• 이론적 분석은 기울기 게이팅이 없을 경우 시스템이 과도한 스무딩에 취약하다는 것을 확인하여 제안된 메커니즘의 必要성을 검증했다.