[논문 리뷰] Anti-Symmetric DGN: a stable architecture for Deep Graph Networks

Alessio Gravina, Davide Bacciu외 1명|arXiv (Cornell University)|2022. 10. 18.

Advanced Graph Neural Networks인용 수 14

한 줄 요약

이 논문은 일반 미분방정식(OEDs)에서 유도된 안정적이고 비산열성 아키텍처인 반대칭이 아닌 깊은 그래프 신경망(A-DGN)을 제안한다. ODE 설정에서 반대칭 가중치 행렬을 강제 적용함으로써 A-DGN은 장거리 종속성을 유지하고 기울기 소실 또는 폭발을 방지하여 수십 층의 깊은 네트워크에서도 효과적으로 학습할 수 있으며, 여러 벤치마크에서 표준 DGN보다 뛰어난 성능을 보인다.

ABSTRACT

Deep Graph Networks (DGNs) currently dominate the research landscape of learning from graphs, due to their efficiency and ability to implement an adaptive message-passing scheme between the nodes. However, DGNs are typically limited in their ability to propagate and preserve long-term dependencies between nodes, i.e., they suffer from the over-squashing phenomena. This reduces their effectiveness, since predictive problems may require to capture interactions at different, and possibly large, radii in order to be effectively solved. In this work, we present Anti-Symmetric Deep Graph Networks (A-DGNs), a framework for stable and non-dissipative DGN design, conceived through the lens of ordinary differential equations. We give theoretical proof that our method is stable and non-dissipative, leading to two key results: long-range information between nodes is preserved, and no gradient vanishing or explosion occurs in training. We empirically validate the proposed approach on several graph benchmarks, showing that A-DGN yields to improved performance and enables to learn effectively even when dozens of layers are used.

연구 동기 및 목표

• 깊은 아키텍처에서 장거리 정보 전파를 제한하는 깊은 그래프 신경망(DGNs)의 과도한 압축 문제를 해결하기 위해.
• 지속적인 ODE 설정을 사용하여 그래프 신경망을 위한 안정적이고 비산열성 메시지 전달 메커니즘을 설계하기 위해.
• 역전파 중 기울기 소실 또는 폭발을 방지함으로써 DGN의 수십 층에 이르는 효과적인 학습을 가능하게 하기 위해.
• 반대칭 가중치 행렬을 통한 이론적 기반을 제공하여 그래프에서 안정적이고 보존적인 ODE 역학을 확립하기 위해.
• 표준 DGN이 성능이 저하되는 깊은 아키텍처에서도 A-DGN이 성능을 유지함을 경험적으로 검증하기 위해.

제안 방법

• 그래프 메시지 전달 과정을 그래프 구조 상태에 대한 함수 f_G로 정의된 노드 기반 역학을 사용하여 연속적인 ODE 시스템으로 공식화한다.
• 메시지 전달 함수에 반대칭 가중치 행렬을 사용하여 ODE의 안정성과 비산열성을 확보한다.
• 결과적으로 안정적인 ODE를 정방향 오일러 이산화를 통해 A-DGN 레이어를 유도함으로써 이산 아키텍처에서의 수치적 안정성을 보장한다.
• 이론적 분석을 통해 ODE 시스템이 안정적이고 비산열성임을 증명하며, 학습 중 기울기 폭발 또는 소실이 발생하지 않음을 보장한다.
• 기존의 DGN을 비산열성 ODE의 이산 근사로 재해석하고 확장할 수 있는 프레임워크를 제공한다.
• 이 방법은 어떤 표준 DGN 아키텍처와도 호환되며, 깊이 확장성 향상을 위해 플러그인 모듈로 적용 가능하다.

실험 결과

연구 질문

• RQ1 그래프 메시지 전달의 ODE 기반 설정이 장거리 종속성을 유지하는 안정적이고 비산열성 역학을 이끌 수 있는가?
• RQ2 ODE 시스템에서 반대칭 가중치 행렬을 강제 적용하면 깊은 그래프 신경망에서 역전파 중 기울기 안정성이 보장되는가?
• RQ3 표준 DGN이 과도한 압축 문제로 성능이 저하되는 것과는 달리, A-DGN은 수십 층을 스택해도 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 A-DGN은 장거리 상호작용이 요구되는 그래프 벤치마크에서 고전적 DGN보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 DGN의 ODE 설정을 연속적이고 보존적인 과정으로 재해석할 수 있는가? 이는 과도한 스무딩과 과도한 압축을 완화할 수 있는가?

주요 결과

• A-DGN은 PubMed, Coauthor CS, Amazon Photo 등 여러 그래프 벤치마크에서 상태의 최고 성능을 기록하며, 50층 이상의 깊이에서도 성능을 유지한다.
• Coauthor CS 데이터셋에서 A-DGN은 50층일 때 91.35%의 정확도를 기록했으며, GCN, GAT, GraphSAGE, GIN은 동일 조건에서 24.5%에서 78.2%까지 성능 저하를 보였다.
• 모든 데이터셋에서 파라미터가 없는 기준선인 DGC보다 A-DGN이 성능이 뛰어나, A-DGN의 향상 요인이 단지 파라미터 효율성 때문이 아니라 아키텍처의 안정성 때문임을 입증한다.
• 특히 다단계 이웃 정보가 필요한 작업에서 장거리 종속성을 모델링할 때 일관된 성능 향상이 이루어진다.
• 기본 모델로 GCN을 사용한 A-DGN은 Coauthor Physics에서 93.27%의 정확도를 기록하여 최고의 기준선인 GCNII(92.97%)를 초월했으며, 깊이에 걸쳐 뛰어난 강건성을 보였다.
• 제거 실험 결과, 반대칭 가중치 제약 조건이 안정성 확보에 필수적임을 확인했으며, 이를 제거하면 깊이가 증가함에 따라 성능 저하가 발생한다.