[論文レビュー] Transferability of Spectral Graph Convolutional Neural Networks

Ron Levie, Wei Huang+3 more|arXiv (Cornell University)|Jul 30, 2019

Advanced Graph Neural Networks参考文献 45被引用数 49

ひとこと要約

本論文は、スペクトルグラフ畳み込みニューラルネットワークが、同じ基盤空間を離散化するグラフ間で移植可能であることを、一般化された移植性不等式とDSPベースのフレームワークを用いて証明する。

ABSTRACT

This paper focuses on spectral graph convolutional neural networks (ConvNets), where filters are defined as elementwise multiplication in the frequency domain of a graph. In machine learning settings where the dataset consists of signals defined on many different graphs, the trained ConvNet should generalize to signals on graphs unseen in the training set. It is thus important to transfer ConvNets between graphs. Transferability, which is a certain type of generalization capability, can be loosely defined as follows: if two graphs describe the same phenomenon, then a single filter or ConvNet should have similar repercussions on both graphs. This paper aims at debunking the common misconception that spectral filters are not transferable. We show that if two graphs discretize the same "continuous" space, then a spectral filter or ConvNet has approximately the same repercussion on both graphs. Our analysis is more permissive than the standard analysis. Transferability is typically described as the robustness of the filter to small graph perturbations and re-indexing of the vertices. Our analysis accounts also for large graph perturbations. We prove transferability between graphs that can have completely different dimensions and topologies, only requiring that both graphs discretize the same underlying space in some generic sense.

研究の動機と目的

• 多様なグラフ上のデータが存在するマルチグラフ設定において、移植性の動機付けと形式化を行う。
• 同じ基盤空間を離散化する場合、異なるサイズとトポロジを持つグラフ間でもスペクトルグラフフィルタが一般化できることを示す。
• スペクトル手法が追加の移転機構を必要とせず移植可能であり続けることを、理論的保証と実践的洞察として提供する。

提案手法

• 固有値分解を回避し置換等性を保証するため、スペクトルフィルタの機能計算（functional calculus）ビューを採用する。
• フィルタの移植性をラプラシアンの移植性とサンプリング整合性誤差の和で上限付ける移植性不等式を導入する。
• グラフを基礎となる連続的/トポロジカル空間の離散化としてモデル化し、サンプリングと補間演算子で比較する。
• 連続空間の信号とグラフ信号をサンプリングと補間を通じて関連付ける、DSPに触発されたフレームワークを開発する。
• トポロジー空間を離散化するグラフの移植性を証明し、さらにquadratureに類似したサンプリング仮定の下で、ランダムにサンプリングされたグラフへ拡張する。

実験結果

リサーチクエスチョン

• RQ1 同じ基盤空間を離散化するグラフに適用した場合、スペクトルグラフフィルタはどのような条件下で移植性を示すか。
• RQ2 グラフがサイズやトポロジーの異なる場合、移植性をどのように定量化・上限付けできるか。
• RQ3 複数のグラフでの訓練を要せず、スペクトルConvNetがグラフ間で転移できるか（原理的移植性）？

主な発見

• 一般的な移植性不等式は、フィルタの移植性をラプラシアン移植性とサンプリング整合誤差で上限付ける。
• 同じトポロジー空間を離散化するグラフ間でスペクトルConvNetsは移植可能であり、証明はDSPフレームワークに束縛される。
• トポロジー空間からサンプルされたグラフの移植性は、quadratureに類似したサンプリング仮定の下で確立されている。
• 基礎空間からランダムにサンプルされたグラフについては、提案フレームワークの下で高い確率で移植性が成り立つ。
• 実験的な例は、ゼロショット設定においてもスペクトル法の原理的移植性を示唆している。