[論文レビュー] PDE-GCN: Novel Architectures for Graph Neural Networks Motivated by Partial Differential Equations

Moshe Eliasof, Eldad Haber+1 more|arXiv (Cornell University)|Aug 4, 2021

Model Reduction and Neural Networks被引用数 43

ひとこと要約

PDE-GCNは拡散、準双曲、混合のグラフ畳み込み層を、グラフ上の離散化 PDE に触発されて導入し、過剰平滑化を抑制し、多様なタスクで競合するか最先端の結果を達成します。

ABSTRACT

Graph neural networks are increasingly becoming the go-to approach in various fields such as computer vision, computational biology and chemistry, where data are naturally explained by graphs. However, unlike traditional convolutional neural networks, deep graph networks do not necessarily yield better performance than shallow graph networks. This behavior usually stems from the over-smoothing phenomenon. In this work, we propose a family of architectures to control this behavior by design. Our networks are motivated by numerical methods for solving Partial Differential Equations (PDEs) on manifolds, and as such, their behavior can be explained by similar analysis. Moreover, as we demonstrate using an extensive set of experiments, our PDE-motivated networks can generalize and be effective for various types of problems from different fields. Our architectures obtain better or on par with the current state-of-the-art results for problems that are typically approached using different architectures.

研究の動機と目的

• グラフと多様体上のダイナミクスを理解するためにPDE理論からGCN設計を動機づける。
• グラフ勾配と発散に基づく普遍的なグラフ演算子を開発する。
• 過剰平滑化を防ぐ拡散的および準双曲的層を作成するためにグラフ上でPDEを具体化する。
• さまざまなタスク（ノード分類、形状対応、PPI）でPDE-GCNの有効性を実証する。
• 深く安定したGCNに対する理論的保証と実証的エビデンスを提供する。

提案手法

• グラフ上の離散勾配(G)と発散を定義して微分演算子を近似する。
• 多様体上で非線形拡散と非線形準双曲PDEを定式化する：f_t = div K* sigma(K grad f) および f_tt = div K* sigma(K grad f)。
• 前向きオイラー法（拡散）と leapfrog 法（準双曲）を用いて離散化する：f^{(l+1)} = f^{(l)} - h G^T K_l^T sigma(K_l G f^{(l)}) および f^{(l+1)} = 2 f^{(l)} - f^{(l-1)} - h^2 G^T K_l^T sigma(K_l G f^{(l)}).
• 入力を1x1畳み込みで埋め込み、オプションでエッジ特徴をAおよびGを介して組み込み、f_0を形成する。
• alpha f_tt + (1-alpha) f_t = div K^T sigma(K grad f) という混合ダイナミクス（PDE-GCN M）を導入し、alphaは学習される。
• 拡散/準双曲の priors から始めるためにK_lを恒等行列で初期化し、安定性の考慮による剪定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 PDEに触発されたグラフダイナミクス（拡散、準双曲、または混合）は深いGCNで過剰平滑化を抑制できるか、さまざまなタスクで？
• RQ2 PDE-GCNの派生はドメインに依存しないGCNよりもドメイン間で一般化できるか（3D形状分類、ノード分類、PPI、密な形状対応）？
• RQ3 混合パラメータalphaを学習することが異なる問題タイプの性能にどのような影響を与えるか？
• RQ4 グラフ上の離散PDE演算子は深いアーキテクチャに対する理論的保証と実用的な安定性を提供するか？
• RQ5 拡散対準双曲ダイナミクスは、平滑化を重視する問題と保存を重視する問題でどう差が出るか？

主な発見

• PDE-GCN D（拡散）はModelNet-10で92.2、Coraで83.6の高精度を達成。
• PDE-GCN Dは、深い層を用いて過剰平滑化なしにCora、Citeseer、PubMedの半教師付きノード分類で最先端と同等以上を達成。
• PDE-GCN M（混合ダイナミクス）はノード分類には拡散を、密な形状対応のようなエネルギー保存タスクには準双曲ダイナミクスを好むようalphaを学習する。
• PDE-GCN H（準双曲）は密な形状対応で地理測地誤差がほぼゼロに近く（99.9%）、優れた性能を示す。
• PDE-GCN Dは完全教師付きタスクでベースラインを上回るか同等で、Texas、Wisconsinなどの小規模データセットで89.68%以上を達成。
• PDE-GCN D（99.07）および PDE-GCN M（99.18）はPPIの誘導学習で多くのベースラインと競合するか優位。