[論文レビュー] Graph Based Convolutional Neural Network

Michael Edwards, Xianghua Xie|arXiv (Cornell University)|Sep 28, 2016

Advanced Graph Neural Networks参考文献 17被引用数 43

ひとこと要約

本稿では、グラフラプラシアンのスペクトル領域で畳み込みを実行する、グラフに基づく畳み込みニューラルネットワーク（GCNN）を提案する。この手法により、不規則な空間領域におけるディープラーニングが可能になる。グラフ信号処理とスペクトル乗数を用いたバックプロパゲーションにより、空間的に不規則にサブサンプルされたMNISTデータセットで94.96%の精度を達成し、従来のCNNが失敗する状況でも局所的な特徴抽出が有効であることを示した。

ABSTRACT

The benefit of localized features within the regular domain has given rise to the use of Convolutional Neural Networks (CNNs) in machine learning, with great proficiency in the image classification. The use of CNNs becomes problematic within the irregular spatial domain due to design and convolution of a kernel filter being non-trivial. One solution to this problem is to utilize graph signal processing techniques and the convolution theorem to perform convolutions on the graph of the irregular domain to obtain feature map responses to learnt filters. We propose graph convolution and pooling operators analogous to those in the regular domain. We also provide gradient calculations on the input data and spectral filters, which allow for the deep learning of an irregular spatial domain problem. Signal filters take the form of spectral multipliers, applying convolution in the graph spectral domain. Applying smooth multipliers results in localized convolutions in the spatial domain, with smoother multipliers providing sharper feature maps. Algebraic Multigrid is presented as a graph pooling method, reducing the resolution of the graph through agglomeration of nodes between layers of the network. Evaluation of performance on the MNIST digit classification problem in both the regular and irregular domain is presented, with comparison drawn to standard CNN. The proposed graph CNN provides a deep learning method for the irregular domains present in the machine learning community, obtaining 94.23% on the regular grid, and 94.96% on a spatially irregular subsampled MNIST.

研究の動機と目的

• 標準的なカーネル畳み込みが非自明となる不規則な空間領域への畳み込みニューラルネットワークの適用という課題に対処すること。
• 規則的なグリッドから不規則なグラフに畳み込みおよびプーリング操作を適応させることで、グラフ構造データに対するディープラーニングを可能にすること。
• エンドツーエンドのトレーニングを可能にするために、勾配計算が正確な微分可能なグラフ畳み込みおよびプーリング演算子を開発すること。
• 規則的および不規則な両方のMNISTデータセット上で性能を評価し、グリッドでないデータへの一般化能力を示すこと。
• グラフフーリエ変換とスペクトルフィルタリングを用いた、不規則な領域学習にスケーラブルなフレームワークを提供すること。

提案手法

• グラフフーリエ変換（GFT）を用いて入力を変換し、スペクトル乗数を適用することでグラフ畳み込みを実行する。
• 滑らかなスペクトル乗数を用いることで、逆GFTにより局所的な空間的特徴マップを生成し、不規則なグラフ上での局所的学習を可能にする。
• アービトラリー・マルチグリッド（AMG）に基づくグラフプーリング法を導入し、層ごとにノードを凝集してグラフの解像度を低下させる。
• スペクトル射影を用いて、入力特徴およびスペクトルフィルタの勾配更新をバックプロパゲーションにより導出する。∇f_s,i および ∇k_i,o の明示的計算を実施する。
• 追跡された重みの補間を用いてスペクトルフィルタを近似し、計算コストを削減しながら勾配の正確性を維持する。
• 2段階のトレーニングプロセスを採用：GFTおよび逆GFTを用いたフォワードパスの実行後、スペクトルドメインにおける微分を用いた勾配計算を実施する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル領域におけるグラフ畳み込みは、不規則な空間領域において局所的特徴を効果的に学習できるか？
• RQ2 追跡された重みが限られている状況でも、提案手法の勾配計算方法は先行手法と比較して精度が優れているか？
• RQ3 グラフCNNは、微分可能であることを保ちながら、不規則なデータにおいて競争力のある性能を達成できるか？
• RQ4 補間処理およびグラフプーリングの影響は、モデルの精度およびトレーニングの安定性にどのような影響を与えるか？
• RQ5 グラフCNNの性能は、規則的および不規則なMNISTデータセットにおいて、標準CNNと比較してどうなるか？

主な発見

• 提案されたグラフCNNは、規則的なグリッドMNISTにおいて94.23%のテスト精度を達成し、Henaffらのベースライン手法（92.69%）を上回った。
• 不規則でサブサンプルされたMNISTデータセットでは、94.96%の精度を達成し、ベースライン（91.84%）を顕著に上回った。これは空間的不規則性へのロバストネスを示している。
• スペクトル射影を用いた勾配計算により、入力特徴の誤差が1.41%（±4.00%）にまで低下した。一方、逆方向伝搬でGFTを飛ばした場合の誤差は376.50%（±1020.79%）にまで上昇した。
• フィルタ勾配についても、提案手法では3.81%（±16.11%）の誤差に抑えられた。一方、スペクトル射影を省略した場合の誤差は826.08%（±4153.32%）にまで上昇し、数値的安定性の向上が確認された。
• 追跡された重みが少ない場合でも、補間によるスペクトルフィルタの導入は誤差を増大させる傾向にあったが、提案手法は全テスト設定において他の手法よりも正確であった。
• 図5および図6の可視化結果から、規則的および不規則な両領域において、複数の層にわたり空間的に局所的な特徴マップを効果的に学習していることが確認された。