[論文レビュー] Rational Neural Networks for Approximating Jump Discontinuities of Graph Convolution Operator

Zhiqian Chen, Feng Chen+3 more|arXiv (Cornell University)|Aug 30, 2018

Advanced Graph Neural Networks参考文献 51被引用数 4

ひとこと要約

この論文では、グラフラプラシアンを用いた再定式化により固有ベクトル行列乗算を回避することで、グラフ信号のジャンプ不連続性を効果的にモデル化する、RationalNetと呼ばれる新しいグラフニューラルネットワークを提案する。この手法は、ジャンプ信号において指数的収束を達成し、合成および実世界のグラフデータセットにおいて、著しく低い誤差と競争力のある実行時間で、多項式ベースのモデルおよびベースラインを上回る性能を発揮する。

ABSTRACT

For node level graph encoding, a recent important state-of-art method is the graph convolutional networks (GCN), which nicely integrate local vertex features and graph topology in the spectral domain. However, current studies suffer from several drawbacks: (1) graph CNNs relies on Chebyshev polynomial approximation which results in oscillatory approximation at jump discontinuities; (2) Increasing the order of Chebyshev polynomial can reduce the oscillations issue, but also incurs unaffordable computational cost; (3) Chebyshev polynomials require degree $Ω$(poly(1/$ε$)) to approximate a jump signal such as $|x|$, while rational function only needs $\mathcal{O}$(poly log(1/$ε$))\cite{liang2016deep,telgarsky2017neural}. However, it's non-trivial to apply rational approximation without increasing computational complexity due to the denominator. In this paper, the superiority of rational approximation is exploited for graph signal recovering. RatioanlNet is proposed to integrate rational function and neural networks. We show that rational function of eigenvalues can be rewritten as a function of graph Laplacian, which can avoid multiplication by the eigenvector matrix. Focusing on the analysis of approximation on graph convolution operation, a graph signal regression task is formulated. Under graph signal regression task, its time complexity can be significantly reduced by graph Fourier transform. To overcome the local minimum problem of neural networks model, a relaxed Remez algorithm is utilized to initialize the weight parameters. Convergence rate of RatioanlNet and polynomial based methods on jump signal is analyzed for a theoretical guarantee. The extensive experimental results demonstrated that our approach could effectively characterize the jump discontinuities, outperforming competing methods by a substantial margin on both synthetic and real-world graphs.

研究の動機と目的

• ギブス現象と遅い収束のため、多項式ベースのグラフ畳み込みネットワークがジャンプ不連続性を近似する能力に制限を受ける問題に対処する。
• 固有ベクトル行列乗算に起因する有理関数近似の計算コストを回避することで、スペクトラルグラフ手法における計算負荷を軽減する。
• 有理関数をグラフ畳み込みと統合するニューラルネットワークアーキテクチャを構築し、非滑らかなグラフ信号における信号再構成を改善する。
• 有理関数がジャンプ信号において多項式よりも速く収束することの理論的裏付けを提供する。
• 重み初期化に緩和されたリーマン・アルゴリズムを用いることで、学習の安定性と収束性を向上させる。

提案手法

• 固有値の有理関数をグラフラプラシアンの関数に再定式化することで、固有ベクトル行列乗算の必要性を排除する。
• グラフ信号回帰を学習タスクとして定式化し、グラフフーリエ変換を用いて時間計算量を低減する。
• 局所最適解の問題を軽減するために、緩和されたリーマン・アルゴリズムを導入してネットワーク重みを初期化する。
• ニューラルネットワークを用いて有理関数の係数を学習させ、グラフ構造データに対するエンドツーエンド学習を可能にする。
• 理論的分析により、有理関数近似はε-近似にO(poly log(1/ε))の次数で十分であるのに対し、多項式近似はΩ(poly(1/ε))の次数を要することが示された。
• モデルは、グラフ埋め込みデータにおける予測信号とターゲット信号の平均二乗誤差を最小化する損失関数を用いて学習される。

実験結果

リサーチクエスチョン

• RQ1 有理関数近似は、グラフ信号におけるジャンプ不連続性のモデル化において、多項式近似を上回る性能を発揮できるか？
• RQ2 固有ベクトル演算に起因する高い計算コストを伴わずに、有理関数をスペクトラルグラフニューラルネットワークに効率的に統合できるか？
• RQ3 提案されたRationalNetモデルは、多項式ベースのGCNと比較して、ジャンプ信号においてより速く収束するか？
• RQ4 緩和されたリーマン・アルゴリズムは、収束性を向上させ、局所最適解を回避するためのニューラルネットワーク重みの初期化に有効か？
• RQ5 RationalNetは、非滑らかな信号を有する実世界および合成グラフデータセットにおいて、実際の性能がどうなるか？

主な発見

• ミネソタの道路網において、RationalNetは平均二乗誤差（MSE）が3e-5を達成し、次に良い性能を示したベースライン（PolyFit：0.0008）を著しく上回った。
• フェアファックスの道路網では、RationalNetが最低のMSE（3e-5）を維持した一方、SVR(RBF)とPolyNetはそれぞれ0.0055および0.0039を記録した。
• RationalNetは、ミネソタ（2642ノード）およびフェアファックス（993ノード）の両データセットで、300イテレーション以内に収束し、1分未満で完了した。これは、ベースラインよりも1イテレーションあたりのコストが高かったにもかかわらずである。
• 理論的分析により、有理関数近似がジャンプ信号において多項式近似よりも指数的に速く収束することが確認された。有理関数はO(poly log(1/ε))の次数で十分であるのに対し、多項式はΩ(poly(1/ε))の次数を要する。
• 固有ベクトルの可視化により、高周波成分（例：φ₇₀₁, φ₇₀₂）が非滑らかで不連続な信号を捉えていることが確認され、RationalNetがこれらを効果的にモデル化していることが示された。
• ディリクレエネルギー解析により、上位50％の高周波成分を用いて再構成した信号ζのエネルギーが非常に高く（15,384.10）、非滑らかであることが確認され、RationalNetが正確にこれを捉えていることが裏付けられた。