[論文レビュー] Bridging the Gap Between Spectral and Spatial Domains in Graph Neural Networks

Muhammet Balcılar, Guillaume Renton+4 more|arXiv (Cornell University)|Mar 26, 2020

Advanced Graph Neural Networks参考文献 27被引用数 38

ひとこと要約

この論文は、固定スペクトルプロファイルを持つスペクトルと空間グラフ畳み込みの同値性を証明し、スペクトルの観点から4つの人気ConvGNNを分析し、転送可能なフィルター係数を備えた深堀り可能なスペクトル設計を導入します。

ABSTRACT

This paper aims at revisiting Graph Convolutional Neural Networks by bridging the gap between spectral and spatial design of graph convolutions. We theoretically demonstrate some equivalence of the graph convolution process regardless it is designed in the spatial or the spectral domain. The obtained general framework allows to lead a spectral analysis of the most popular ConvGNNs, explaining their performance and showing their limits. Moreover, the proposed framework is used to design new convolutions in spectral domain with a custom frequency profile while applying them in the spatial domain. We also propose a generalization of the depthwise separable convolution framework for graph convolutional networks, what allows to decrease the total number of trainable parameters by keeping the capacity of the model. To the best of our knowledge, such a framework has never been used in the GNNs literature. Our proposals are evaluated on both transductive and inductive graph learning problems. Obtained results show the relevance of the proposed method and provide one of the first experimental evidence of transferability of spectral filter coefficients from one graph to another. Our source codes are publicly available at: https://github.com/balcilar/Spectral-Designed-Graph-Convolutions

研究の動機と目的

• グラフ畳込みのスペクトル設計と空間設計のギャップを埋める。
• 人気のConvGNNをスペクトル分析して性能と限界を説明する。
• 空間領域で適用されるカスタム周波数プロファイルを用いたスペクトル領域畳込みを設計する。
• パラメータを削減しつつ容量を維持する深度方向分離可能畳み込みフレームワークへ一般化する。
• 誘導学習設定でグラフ間のスペクトルフィルター係数の転送性を実証する。

提案手法

• 固定周波数プロファイル行列 B を持つスペクトルConvGNNが、C^(s) を用いた空間ConvGNNの特別なケースであることを理論的に示す。
• H^(l+1) が C^(s) H^(l) W^(l,s) の和として表現できることを導出し、C^(s) = U diag(digamma_s(lambda)) U^T。
• ChebNet、CayleyNet、GCN、GAT の周波数プロファイル系からのコロラリを用いたスペクトル分析により、それらのスペクトル特性を明らかにする。
• 複数のスペクトル周波数プロファイルを用いて、より豊かでパラメータ効率の高い基盤を形成する深度方向分離可能なグラフ畳込みを提案する。
• 異なるグラフ間でのスペクトルフィルター係数の転送性を、誘導学習シナリオを含めて議論する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル領域のパラメータ化を、等価な空間領域のグラフ畳込みとして再表現できるか。
• RQ2 代表的なグラフ上での4つの人気ConvGNN（ChebNet、CayleyNet、GCN、GAT）のスペクトル周波数プロファイルはどうなるか。
• RQ3 カスタム周波数プロファイルを持つスペクトル領域畳込みを設計し、それを空間領域で実装できるか。
• RQ4 深度方向分離可能スペクトル畳込みフレームワークは、容量を損なうことなくパラメータを削減できるか。
• RQ5 誘導学習設定でグラフ間のスペクトルフィルター係数は転送可能か。

主な発見

• 固定周波数プロファイル設計を持つスペクトルConvGNNは、空間ConvGNNと同値であり、スペクトル解析をフーリエ変換なしで可能にする。
• ChebNet、CayleyNet、GCN、GAT は特徴的な周波数プロファイルを示し、彼らが普遍的に無関心ではなく、主に低域寄りで問題依存であることを明らかにする。
• GCN は異なるグラフ間で転送可能なカーネルを示し、一貫した低域形と計算可能なカットオフ周波数を持つ。
• 複数のスペクトルプロファイルを用いた深度方向分離可能グラフ畳込みは、モデル容量を維持しつつ可訓練パラメータを削減できる。
• 領域転置および誘導タスクにおける実証的結果は、グラフ間のスペクトルフィルター係数の転送性の証拠を提供する。