[論文レビュー] Search-Convolutional Neural Networks

James Atwood, Don Towsley|arXiv (Cornell University)|Nov 6, 2015

Advanced Graph Neural Networks参考文献 19被引用数 20

ひとこと要約

この論文では、グラフ探索を用いて局所的な構造的パターンをグラフ構造データから抽出する、決定論的な関係的モデルである検索畳み込みニューラルネットワーク（SCNN）を紹介する。SCNNはサイズに依存しないパラメータ化を実現し、転移学習を可能にするとともに、標準的な分類器や多層パーセプトロンを上回り、計算コストを低く抑えつつ最先端の確率的モデルと同等の性能を達成する。

ABSTRACT

We present a new deterministic relational model derived from convolutional neural networks. Search-Convolutional Neural Networks (SCNNs) extend the notion of convolution to graph search to construct a rich latent representation that extracts local behavior from general graph-structured data. Unlike other neural network models that take graph-structured data as input, SCNNs have a parameterization that is independent of input size, a property that enables transfer learning between datasets. SCNNs can be applied to a wide variety of prediction tasks, including node classification, community detection, and link prediction. Our results indicate that SCNNs can offer considerable lift over off-the-shelf classifiers and simple multilayer perceptrons, and comparable performance to state-of-the-art probabilistic graphical models at considerably lower computational cost.

研究の動機と目的

• グラフ構造データにおける局所的な構造的パターンを効果的に捉えるニューラルネットワークモデルの開発。
• 入力サイズに依存しないパラメータ化を設計し、異なるデータセット間での転移学習を可能にすること。
• ノード分類、コミュニティ検出、リンク予測などのグラフ予測タスクにおける性能の向上。
• 計算コストを著しく低く抑えつつ、最先端の確率的グラフィカルモデルと同等の性能を達成すること。

提案手法

• SCNNは、従来の空間的畳み込みの代わりに、局所的なグラフ近傍における検索駆動型アグリゲーションを用いた畳み込みに類似した演算を適用する。
• モデルは、事前に定義された検索戦略に従って局所サブグラフを走査することで、豊かな関係的インダクティブバイアスを捉える潜在表現を構築する。
• 固定サイズの検索ベースの受容場所を用いることで、パラメータ共有が実現され、入力グラフサイズに依存しないパラメータ化が保証される。
• 標準的な誤差逆伝播法を用いて、さまざまな予測タスクのエンドツーエンド学習が可能である。
• サイズ不変の設計のおかげで、異なるグラフタイプに一般化可能であり、スケーリングも効率的である。

実験結果

リサーチクエスチョン

• RQ1 決定論的なニューラルネットワークモデルは、一般のグラフ構造データから局所的な構造的パターンを効果的に抽出できるか？
• RQ2 検索ベースの畳み込み機構は、グラフ予測タスクにおいて、標準的な畳み込みや全結合層を上回る性能を発揮するか？
• RQ3 サイズに依存しないパラメータ化は、異なるグラフサイズを持つ多様なグラフデータセット間での効果的な転移学習を可能にするか？
• RQ4 SCNNの性能は、正確性と計算効率の観点から、最先端の確率的グラフィカルモデルと比べてどうか？

主な発見

• SCNNは、グラフ予測タスクにおいて、オフザシェル分類器や多層パーセプトロンを著しく上回る性能を達成する。
• SCNNは、計算コストを著しく低く抑えつつ、最先端の確率的グラフィカルモデルと同等の性能を達成する。
• サイズに依存しないパラメータ化のおかげで、異なるグラフサイズを持つデータセット間での効果的な転移学習が可能である。
• SCNNは、ノード分類、コミュニティ検出、リンク予測を含む多様なタスクにおいて、優れた一般化性能を示す。