[논문 리뷰] PDE-GCN: Novel Architectures for Graph Neural Networks Motivated by Partial Differential Equations

Moshe Eliasof, Eldad Haber외 1명|arXiv (Cornell University)|2021. 08. 04.

Model Reduction and Neural Networks인용 수 43

한 줄 요약

PDE-GCN은 그래프에서 이산화된 PDE에 의해 영감을 받은 확산형, 쌍곡형, 혼합 동역학의 그래프 합성 계층을 도입하여 과도한 평활화를 제어하고 다양한 작업에서 경쟁력 있거나 최첨단 성능을 달성합니다.

ABSTRACT

Graph neural networks are increasingly becoming the go-to approach in various fields such as computer vision, computational biology and chemistry, where data are naturally explained by graphs. However, unlike traditional convolutional neural networks, deep graph networks do not necessarily yield better performance than shallow graph networks. This behavior usually stems from the over-smoothing phenomenon. In this work, we propose a family of architectures to control this behavior by design. Our networks are motivated by numerical methods for solving Partial Differential Equations (PDEs) on manifolds, and as such, their behavior can be explained by similar analysis. Moreover, as we demonstrate using an extensive set of experiments, our PDE-motivated networks can generalize and be effective for various types of problems from different fields. Our architectures obtain better or on par with the current state-of-the-art results for problems that are typically approached using different architectures.

연구 동기 및 목표

• 그래프와 다양체의 동역학을 이해하기 위해 PDE 이론에서 GCN 설계를 고무한다.
• 그래프 그래디언트(gradient)와 발산(divergence)을 기반으로 한 보편적 그래프 연산자를 개발한다.
• 그래프에서 PDE를 구현하여 확산적 계층 및 쌍곡적 계층을 만들어 과도한 평활화를 방지한다.
• 노드 분류, 형태 대응, PPI 등 다양한 작업에서 PDE-GCN의 효과를 입증한다.
• 깊고 안정적인 GCN에 대한 이론적 보장과 실증적 증거를 제공한다.

제안 방법

• 그래프에서 이산 그래디언트(G)와 발산을 정의하여 미분 연산자를 근사한다.
• 다음과 같은 비선형 확산 및 비선형 쌍곡 PDE를 다양체에 대해 형식화한다: f_t = div K* sigma(K grad f) 및 f_tt = div K* sigma(K grad f).
• 전방 오일러(확산) 및 레프로그 스킴(쌍곡)으로 이산화한다: f^{(l+1)} = f^{(l)} - h G^T K_l^T sigma(K_l G f^{(l)}) 및 f^{(l+1)} = 2 f^{(l)} - f^{(l-1)} - h^2 G^T K_l^T sigma(K_l G f^{(l)}).
• 입력은 1x1 컨볼루션으로 임베딩하고 선택적으로 A와 G를 통해 엣지 피처를 도입하여 f_0를 형성한다.
• 알파 f_tt + (1-alpha) f_t = div K^T sigma(K grad f)와 같은 혼합 다이나믹스(PDE-GCN M)를 허용하며, alpha는 학습 가능하다.
• 안정성 고려에 따라 가지치기를 가능하게 하려면 초기화 시 K_l을 항등으로 두고 확산/쌍곡 선행을 시작한다.

실험 결과

연구 질문

• RQ1 PDE-에서 영감을 얻은 그래프 다이나믹스(확산, 쌍곡형, 혹은 혼합)가 깊은 GCN에서 과도한 평활화를 방지할 수 있는가?
• RQ2 PDE-GCN 변형들이 도메인 간에 일반화하는가(3D 형태 분류, 노드 분류, PPI, 조밀한 형태 대응) 충분히 도메인 특화 GCN보다 더 잘 일반화하는가?
• RQ3 다양한 문제 유형에서 혼합 매개변수 alpha를 학습하는 것이 성능에 어떤 영향을 미치는가?
• RQ4 그래프에서의 이산화 PDE 연산자는 딥 아키텍처에 이론적 보장과 실용적 안정성을 제공하는가?
• RQ5 확산 대 쌍곡 다이나믹스가 평활화를 강조하는 문제와 보존을 강조하는 문제에서 어떤 성능 차이를 보이는가?

주요 결과

• PDE-GCN D(확산)는 ModelNet-10에서 92.2, Cora에서 83.6의 높은 정확도를 달성한다.
• PDE-GCN D는 Cora, Citeseer, PubMed에서 심층 계층에서도 과도한 평활화 없이 최첨단 수준의 반지도 학습 노드 분류 성능과 일치하거나 이를 능가한다.
• PDE-GCN M(혼합 다이나믹스)는 노드 분류를 위해 확산을 선호하도록 alpha를 학습하고, 밀집한 형태 대응과 같은 에너지 보존 작업에서는 쌍곡적 다이나믹스를 선호하도록 학습된다.
• PDE-GCN H(쌍곡형)은 밀집 형태 대응에서 거의 제로 지오데식 오차에 근접한 성능으로 뛰어나다(FAUST에서 99.9%).
• PDE-GCN D는 다수의 소형 데이터셋/Texas, Wisconsin 등에서 완전 지도 학습 태스크에서도 베이스라인을 능가하거나 따라간다(89.68%+).
• PPI에 대한 유도 학습에서 PDE-GCN D(99.07)와 PDE-GCN M(99.18)는 많은 베이스라인과 경쟁하거나 이를 상회한다.