[논문 리뷰] ACMP: Allen-Cahn Message Passing with Attractive and Repulsive Forces for Graph Neural Networks

Yuelin Wang, Kai Yi외 3명|arXiv (Cornell University)|2022. 06. 11.

Machine Learning in Materials Science인용 수 7

한 줄 요약

ACMP는 힘의 상호작용을 갖는 입자 시스템과 앨런-클로인 이중우물 포텐셜을 통합한 새로운 그래프 신경망 메시지 전파 메커니즘을 제안한다. 이는 학습을 안정화시키며, 딜리클레 에너지에 엄격한 양의 하한을 확보하여 과도한 스무스닝을 방지함으로써, 동형성 및 이형성 그래프에서 모두 최신 기술 수준의 성능을 달성하는 깊은 GNN(최대 128층)을 가능하게 한다.

ABSTRACT

Neural message passing is a basic feature extraction unit for graph-structured data considering neighboring node features in network propagation from one layer to the next. We model such process by an interacting particle system with attractive and repulsive forces and the Allen-Cahn force arising in the modeling of phase transition. The dynamics of the system is a reaction-diffusion process which can separate particles without blowing up. This induces an Allen-Cahn message passing (ACMP) for graph neural networks where the numerical iteration for the particle system solution constitutes the message passing propagation. ACMP which has a simple implementation with a neural ODE solver can propel the network depth up to one hundred of layers with theoretically proven strictly positive lower bound of the Dirichlet energy. It thus provides a deep model of GNNs circumventing the common GNN problem of oversmoothing. GNNs with ACMP achieve state of the art performance for real-world node classification tasks on both homophilic and heterophilic datasets. Codes are available at https://github.com/ykiiiiii/ACMP.

연구 동기 및 목표

• 노드 특징이 과도한 집합으로 인해 구별 불가능해지는 깊은 그래프 신경망에서의 과도한 스무스닝 문제를 해결한다.
• 다른 클래스의 노드가 연결되어 있는 이형성 그래프에서 기존 GNN의 한계를 극복한다. 이 경우 노드가 잘못 분류되는 경향이 있다.
• 깊은 전파 동안 특징 다양성과 에너지 안정성을 유지하는 메시지 전파 메커니즘을 개발한다.
• 디리클레 에너지에 대한 이론적 바탕과 증명 가능한 하한을 갖춘 깊은 GNN(최대 128층)을 가능하게 하여 폭발을 방지하고 수렴을 보장한다.

제안 방법

• 노드 특징을 상호작용하는 힘(집합), 반발력(분리), 그리고 앨런-클로인 포텐셜(상전이 제어)이 작용하는 동역학 시스템의 입자로 모델링한다.
• 메시지 전파 과정을 입자 시스템의 동역학을 해결하는 신경형 미분방정식(Neural ODE)으로 설정하고, DOPRI5 적응형 스텝 사이즈 솔버를 사용한다.
• 디리클레 에너지의 발산을 방지하고 엄격한 양의 하한을 확보하기 위해 앨런-클로인 항목(레이일리 마찰력)을 통합한다.
• 특징의 스무스닝과 클러스터 간 분리 간 균형을 이루는 반응-확산 시스템을 사용하여 이중 클러스터 떼기 행동을 가능하게 한다.
• 학습 가능한 파rameter β, 시간 T, 힘의 강도를 통해 자기 특징 유지와 이웃 영향 간의 트레이드오프를 제어한다.
• 단일 신경형 미분방정식 솔버를 사용하여 모델을 구현함으로써 엔드 투 엔드 학습과 확장 가능한 깊은 네트워크 구축을 가능하게 한다.

실험 결과

연구 질문

• RQ1 흡인력과 반발력이 작용하는 입자 시스템에 앨런-클로인 역학을 결합하면 깊은 그래프 신경망을 안정화시키고 과도한 스무스닝을 방지할 수 있는가?
• RQ2 앨런-클로인 항목이 딜리클레 에너지에 엄격한 양의 하한을 보장함으로써 깊은 GNN에서 특징 붕괴를 방지하는가?
• RQ3 ACMP는 극도로 깊은 깊이에서도 동형성 및 이형성 그래프 벤치마크에서 높은 성능을 유지할 수 있는가?
• RQ4 앨런-클로인 포텐셜의 포함이 학습 중 수치 안정성과 특징 크기 변화에 어떤 영향을 미치는가?
• RQ5 GCN, GAT, GraphSage와 비교해 ACMP는 더 적은 파라미터로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• ACMP는 깊이 4에서 Cora(83.87% ± 0.52%), Citeseer(74.61% ± 1.04%), PubMed(79.74% ± 0.24%)에서 GCN, GAT, GraphSage, GRAND를 모두 능가하는 최신 기술 수준의 테스트 정확도를 달성한다.
• 깊이 128에서 ACMP는 Cora에서 80.30%의 테스트 정확도, Citeseer에서 67.83%의 정확도를 유지하여 깊이에 대한 강건성과 과도한 스무스닝 회피 능력을 입증한다.
• ACMP의 딜리클레 에너지는 엄격한 양의 하한을 갖는 것으로 증명되었으며, 이는 극도로 깊은 깊이에서도 특징이 공통된 상태로 수렴하지 않음을 보장한다.
• 앨런-클로인 항목이 없을 경우 T=30에서 노드 특징이 1×10^20으로 폭발한다; 그러나 앨런-클로인 항목이 있으면 특징은 ±1 근처에서 안정화되어 수치적 실패를 방지한다.
• Cora에서 ACMP는 단지 17k개의 파라미터만을 사용하여 GCN(144k), GAT(230k), GraphSage(200k)보다 훨씬 적은 파라미터 효율성을 보인다.
• 제거 실험(ablation study) 결과, 앨런-클로인 항목이 안정성에 필수적임을 확인했다. 이 항목이 없을 경우 반발력이 특징 크기를 무한대로 증가시켜 학습을 불가능하게 한다.