[論文レビュー] Graph Neural Ordinary Differential Equations

Michael Poli, Stefano Massaroli+4 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Graph Neural Networks参考文献 69被引用数 61

ひとこと要約

GDEはグラフベースのODEでノード特徴のダイナミクスをパラメータ化することにより、連続深度のフレームワークを提供し、離散的なGNNより静的および動的タスクの性能を向上させる。GDEはグラフの連続的なシーケンスをモデル化でき、不規則なタイムスタンプを扱い、前方伝播に数値ODE解法を組み込むことができる。

ABSTRACT

We introduce the framework of continuous--depth graph neural networks (GNNs). Graph neural ordinary differential equations (GDEs) are formalized as the counterpart to GNNs where the input-output relationship is determined by a continuum of GNN layers, blending discrete topological structures and differential equations. The proposed framework is shown to be compatible with various static and autoregressive GNN models. Results prove general effectiveness of GDEs: in static settings they offer computational advantages by incorporating numerical methods in their forward pass; in dynamic settings, on the other hand, they are shown to improve performance by exploiting the geometry of the underlying dynamics.

研究の動機と目的

• 連続深度グラフニューラルネットワークを、グラフニューラルODE（GDEs）をGNN層の連続体として定義することによって導入する。
• GDEが静的および自己回帰GNNモデルと互換性を持つことを示す。
• 静的タスクと動的設定におけるGDEの計算効率と精度の利点を実証する。
• ノード分類、軌跡の外挿、交通予測においてGDEを検証する。

提案手法

• dot{H}(s)=F_G(H(s), Θ)かつ H(0)=X_eとしてCauchy問題としてGDEを定式化する。
• F_Gをグラフ条件付きベクタ場として定義し、グラフGに対して深さ依存のダイナミクスを可能にする。
• GCDEのような静的モデルへ特化し、GCNの連続対応物と関連付ける。
• 自己回帰グラフシーケンスのためのハイブリッド連続-離散ダイナミクスを介して時空間設定にGDEを拡張する。
• バックプロパゲーション、アジョイント法、または安定性を考慮したスペクトル要素離散化で訓練する。
• 固定ステップおよび適応ODEソルバー（例：RK法、Dormand-Prince）で評価する。

実験結果

リサーチクエスチョン

• RQ1 連続深度GDEは標準的なノード分類ベンチマークで従来のGNNの性能と同等またはそれを超え得るか。
• RQ2 GCDEは数値ODEソルバーを活用して、深さの利点を持つより良いまたは同等の精度を達成するか。
• RQ3 自己回帰GDEは不規則なタイムスタンプを持つグラフのシーケンスをモデル化し、離散モデルより基礎ダイナミクスをより効果的に捉えられるか。
• RQ4 静的GDEにおける固定と適応の異なるソルバー方式の利点と限界は何か。
• RQ5 軌跡外挿や交通予測のような動的タスクにおけるGDEは、ニューラルODEsや標準のRNN/GRUベースラインと比べてどの程度性能を発揮するか。

主な発見

Model (NFE)	Cora	Citeseer	Pubmed
GCN (NFE not shown)	81.4±0.5%	70.9±0.5%	79.0±0.3%
GCN ∗	82.8±0.3%	71.2±0.4%	79.5±0.4%
GCDE–rk2 (2)	83.0±0.6%	72.3±0.5%	79.9±0.3%
GCDE–rk4 (4)	83.8±0.5%	72.5±0.5%	79.5±0.4%
GCDE–dpr5 (158)	81.8±1.2%	68.3±1.2%	78.5±0.7%

• より高次のソルバー（rk4）を用いたGCDEバリアントは、Cora、Citeseer、Pubmedの標準的なGCNベースラインを上回ることができる。
• 適応ステップのGCDEはより深い実効モデルを提供するが、多くの関数評価（NFE）により過学習する可能性がある。
• GCDEは長い積分時間に対して耐性を示し、静的タスクにおけるノードの過平滑化を緩和できる。
• マルチエージェント軌跡外挿において、GCDE（GCDE-IIを含む）はニューラルODEsや素のGCDEよりも優れており、関係構造を活用している。
• 不規則なサンプリング下での交通予測では、GCDE-GRUモデルがGRUやGCGRUを様々なアンダーサンプリング regimesにわたって上回る。