[論文レビュー] Spectral Networks and Locally Connected Networks on Graphs

Joan Bruna, Wojciech Zaremba+2 more|arXiv (Cornell University)|Dec 21, 2013

Advanced Graph Neural Networks参考文献 14被引用数 2,711

ひとこと要約

本論文はCNNの概念を空間的およびスペクトル的グラフ構成を用いてグラフに適用し、パラメータを大幅に抑えつつ競争力のある精度を実現し、滑らかなスペクトル乗数による O(1) パラメータ領域を含む。

ABSTRACT

Convolutional Neural Networks are extremely efficient architectures in image and audio recognition tasks, thanks to their ability to exploit the local translational invariance of signal classes over their domain. In this paper we consider possible generalizations of CNNs to signals defined on more general domains without the action of a translation group. In particular, we propose two constructions, one based upon a hierarchical clustering of the domain, and another based on the spectrum of the graph Laplacian. We show through experiments that for low-dimensional graphs it is possible to learn convolutional layers with a number of parameters independent of the input size, resulting in efficient deep architectures.

研究の動機と目的

• 格子構造を欠くグラフ上の信号に対してCNNを一般化する。
• 空間的（局所的に接続された）およびスペクトル的（ラプラシャンベース）なネットワーク構成を開発する。
• パラメータ効率性を示す（O(n) および O(1)）とグラフ構造データでの実用的な性能。
• 低次元グラフ上でのスケーラブルな前方伝搬を持つ深層アーキテクチャを実証する。

提案手法

• 空間構成: グリッドをグラフ G=(Ω, W) に置き換える；多段階クラスタリングを用いて Ω_k と近傍 N_k を形成する；層 k は x_{k+1,j}=L_k h( ∑_i F_{k,i,j} x_{k,i} ) を計算し、稀な F_{k,i,j} とクラスタごとのプーリング L_k を用いる；パラメータ数は O(n)。
• スペクトル構成: グラフラプラシアンの固有ベクトル V を用いて信号を変換する；層は x_{k+1,j}= h( V ∑_i F_{k,i,j} V^T x_{k,i} ) の形で動作する；スペクトル領域で対角 F_{k,i,j} を用いる；d 個の固有ベクトルを保持する場合、層あたりのパラメータは O(n) で、スペクトル乗数の滑らかさにより O(1) になる可能性がある。
• O(1) パラメータ構成: 固有値で固有ベクトルを並べ替え、スプラインベースのパラメータ化を用いてフィルターあたりのパラメータを一定にする滑らかなスペクトル乗数を提案する；スペクトル座標のデュアルグラフについても論じる。

実験結果

リサーチクエスチョン

• RQ1 CNNのような畳み込み演算を、平行移動対称性の欠如した任意のグラフ上で意味のある形で定義できるか。
• RQ2 空間的またはスペクトルに着想を得たグラフ畳み込みは、グラフ構造データ上でパラメータ効率の高い深層ネットワークと競争力のある性能を提供するか。
• RQ3 層ごとに O(1) に近いパラメータ数を実現しつつ、低次元グラフで性能を保てるか。
• RQ4 滑らかなスペクトル乗数はグラフ上の学習フィルターの局在化と一般化にどのような影響を与えるか。
• RQ5 古典的なCNNとグラフベースの畳み込みが、グラフラプラシアンのスペクトルを介してどのように関係するか。

主な発見

• グラフベースのCNNは、MNIST系のデータに対して完全連結ニューラルネットよりもはるかに少ないパラメータで競争力のある、またはそれを上回る精度を達成できる。
• 空間的に局所的に接続されたネットワークは、多段階クラスタリングを用いた場合、サブサンプリングされたMNISTで従来の完全連結モデルを上回る。
• スペクトル構成は競争力があり；スペクトル乗数を平滑にするとフィルターの局在化と一般化が改善される。
• 滑らかなスペクトル乗数を用いることで O(1) パラメータ領域が実現可能であり、大規模グラフへのスケーラビリティの可能性を示唆する。
• 回転を含む MNIST-sphere 上では、グラフベースのアーキテクチャが最近傍探索より優れ、しばしば完全連結のベースラインと同等以上の性能を、はるかに少ないパラメータで達成。