[論文レビュー] Learning Convolutional Neural Networks for Graphs

Mathias Niepert, Mohamed M. Ahmed+1 more|arXiv (Cornell University)|May 17, 2016

Advanced Graph Neural Networks被引用数 816

ひとこと要約

Patchy-san はノード列を選択し、固定サイズの局所近傍を抽出・正規化し、CNN で学習することで、グラフカーネルと競争力のある結果を得て、スケーラブルな性能を達成するフレームワークを構築します。

ABSTRACT

Numerous important problems can be framed as learning from graph data. We propose a framework for learning convolutional neural networks for arbitrary graphs. These graphs may be undirected, directed, and with both discrete and continuous node and edge attributes. Analogous to image-based convolutional networks that operate on locally connected regions of the input, we present a general approach to extracting locally connected regions from graphs. Using established benchmark data sets, we demonstrate that the learned feature representations are competitive with state of the art graph kernels and that their computation is highly efficient.

研究の動機と目的

• グリッド構造データを超える広範なグラフに対して CNN の適用を動機づける。
• 多様な属性を持つグラフ上で局所的な固定サイズの受容野を作成するためのフレームワーク（Patchy-san）を開発する。
• handcrafted なグラフカーネルを用いずに、CNN を用いてグラフ表現をエンドツーエンドで学習する。
• ベンチマークデータセット上で最先端のグラフカーネルと対抗する効率性と競争力を示す。

提案手法

• Patchy-san (Select-Assemble-Normalize) を定義し、固定ノード対応付けを持たないグラフを処理する。
• ノードを並べ替え、k サイズの正規化された受容野を作成するために Weisfeiler-Lehman などのグラフラベリング手法を使用する。
• k ノードまでの近傍を用いたアセンブリによって受容野を構築し、標準的なラベリングを用いて正規化し、固定ベクトル空間に写像する。
• パッチの系列を CNN コンポーネント（畳み込み層と全結合層）に通してグラフ表現を学習する。
• 理論的結果を提供する：最適なグラフ正規化の NP-困難性と、Patchy-san が格子上の標準的な CNN を模倣できる条件。
• グラフの数とパッチ生成の効率性における線形に近い複雑さでのスケーラビリティを示す。

実験結果

リサーチクエスチョン

• RQ1 Patchy-san は、整列したノード対応付けなしで見たことのないグラフに対して分類・回帰の識別表現を学習できるか。
• RQ2 CNN ベースのグラフ表現は、標準のグラフカーネルと比較してベンチマークでどれほど性能が良いか。
• RQ3 パッチ生成と正規化における計算上のトレードオフは何か、ラベリングの選択は性能にどう影響するか。
• RQ4 Patchy-san は画像上の CNN を任意のグラフトポロジーに一般化し、理論的な関連性を保持できるか。

主な発見

• Patchy-san は複数のベンチマークデータセットで最先端のグラフカーネルと競合する精度を達成する。
• グラフの数に対して線形にスケールし、受容野の計算を並列化できるため大規模グラフでも効率的である。
• 1-WL に基づく正規化を用いると、受容野は格子グラフ上の最初の CNN 層を模倣でき、特定のケースで理論的等価性を確立する。
• グラフ分類の実験では、受容野サイズがおよそ 10 のときに多くのデータセットで最良の精度を示す。
• Patchy-san はノード属性とエッジ属性の両方をサポートし、連続特徴量は簡単な前処理（例：正規化されたノード次数）を介して統合可能である。
• 可視化実験では、パッチ上で学習された RBM によって学習されたグラフモチフェを示し、モデルが学習する局所構造が解釈可能であることを示す。