[論文レビュー] Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering

Michaël Defferrard, Xavier Bresson+1 more|arXiv (Cornell University)|Jun 30, 2016

Advanced Graph Neural Networks参考文献 28被引用数 1,701

ひとこと要約

スペクトルグラフ CNN フレームワークを提示。Chebyshev 多項式を用いて局所的で効率的に計算できるグラフフィルタと、非規則領域上でのスケーラブルな学習のためのグラフコアセニングとプーリングを追加。

ABSTRACT

In this work, we are interested in generalizing convolutional neural networks (CNNs) from low-dimensional regular grids, where image, video and speech are represented, to high-dimensional irregular domains, such as social networks, brain connectomes or words' embedding, represented by graphs. We present a formulation of CNNs in the context of spectral graph theory, which provides the necessary mathematical background and efficient numerical schemes to design fast localized convolutional filters on graphs. Importantly, the proposed technique offers the same linear computational complexity and constant learning complexity as classical CNNs, while being universal to any graph structure. Experiments on MNIST and 20NEWS demonstrate the ability of this novel deep learning system to learn local, stationary, and compositional features on graphs.

研究の動機と目的

• Regular grids からグラフへ CNN を一般化するための研究動機と目的。
• 線形計算量で厳密に局所化されたグラフフィルタの開発。
• グラフ上での多スケール学習を可能にするグラフコアセニングとプーリングの導入。
• MNIST と 20NEWS で競争力のある性能を示しつつ計算効率を維持。

提案手法

• グラフラプラシアンと固有基底を用いてスペクトル領域でのグラフ卷積を定式化。
• 局所性を保証するためにラプラシアンの K 次多項式としてフィルタをパラメータ化（g_theta(L) = sum_{k=0}^{K-1} theta_k L^k）。
• 固有分解を明示的に行うことなく、チェビシェフ多項式と再帰法で効率的にフィルタを計算。
• グラフコアセニングには Graclus の多層クラスタリングを用い、スケール間のプーリングを可能に。
• コアセンスされたグラフをバランスの取れた二分木に再配置して、1D 的な効率的なプーリング操作を可能に。
• 逆伝播で学習を行い、theta と入力に対する勾配は K 個の疎行列ベクトル積と1つの密なベクトル積により得られる。

実験結果

リサーチクエスチョン

• RQ1 CNN のような重み共有をグラフに一般化して局所性と計算効率を保てるか。
• RQ2 スペクトルグラフCNNの局所化フィルタは、標準ベンチマーク（MNIST、20NEWS）で古典的なCNNや他のグラフ手法と競合する精度を達成するか。
• RQ3 大規模グラフ上で多尺度学習を可能にするためのグラフプーリング/コアセニングを効率的に実行できるか。
• RQ4 入力グラフの質がグラフベース CNN の学習性能にどのように影響するか。

主な発見

アーキテクチャ	正確さ
古典的CNN (C32-P4-C64-P4-FC512)	99.33
提案されたグラフCNN（GC32-P4-GC64-P4-FC512）	99.14

• チェビシェフベースのスペクトルフィルタパラメータ化は、エッジ数に比例して線形の計算量で局所的な（K-hop）カーネルを達成する。
• グラフコアセニング（Graclus）によるプーリングと、その後の正則化された1Dライクなプーリングにより、グラフ上での効率的な多尺度学習を実現。
• MNIST において、GC32-P4-GC64-P4-FC512 を用いたグラフCNNは、同様のアーキテクチャを持つ古典的CNNの 99.33% に対して 99.14% の精度を達成。
• MNIST では、GPU 実装において非グラフ法に対する実行時の速度向上を示し、従来のいくつかのスペクトル法よりも O(n) の規模でスケールする。
• 20NEWS では、GC32 を用いたグラフCNNが 68.26% の精度を達成し、ある FC ベースモデルよりは優れるが、この特定の設定では多項分布 Naive ベイズのベースラインをわずかに下回る。