[論文レビュー] Deep Convolutional Networks on Graph-Structured Data

Mikael Henaff, Joan Bruna+1 more|arXiv (Cornell University)|Jun 16, 2015

Advanced Graph Neural Networks参考文献 14被引用数 1,346

ひとこと要約

本論文は、畳み込みネットワークを一般化されたグラフ構造データへと拡張する深層学習フレームワークを提案する。グラフ構造とスペクトル畳み込みを同時に学習することで、完全結合層と同等の性能を達成しつつ、はるかに少ないパラメータ数で実現している。自己教師ありおよび教師ありのグラフ推定手法を導入し、テキスト分類およびバイオインフォマティクスタスクで最先端の結果を示している。また、スペクトルネットワークの定式化によりImageNet上でもConvNetと同等の性能を達成している。

ABSTRACT

Deep Learning's recent successes have mostly relied on Convolutional Networks, which exploit fundamental statistical properties of images, sounds and video data: the local stationarity and multi-scale compositional structure, that allows expressing long range interactions in terms of shorter, localized interactions. However, there exist other important examples, such as text documents or bioinformatic data, that may lack some or all of these strong statistical regularities. In this paper we consider the general question of how to construct deep architectures with small learning complexity on general non-Euclidean domains, which are typically unknown and need to be estimated from the data. In particular, we develop an extension of Spectral Networks which incorporates a Graph Estimation procedure, that we test on large-scale classification problems, matching or improving over Dropout Networks with far less parameters to estimate.

研究の動機と目的

• 非ユークリッド的かつ高次元のグラフ構造データに一般化された畳み込みネットワークを適用可能な深層学習アーキテクチャの開発。この際、事前グラフ構造は与えられない。
• 推定されたグラフ上での局所的かつ重み共有フィルタの学習により、完全結合層の$O(N^2)$パラメータ数を回避することで、モデルの複雑さを低減すること。
• グラフ推定とその後続のスペクトル畳み込みが、ドロップアウト正則化を施した標準的な完全結合ネットワークを上回るか、同等の性能を発揮するかを検証すること。
• 特にテキストやバイオインフォマティクスのような低データ量または複雑なデータ環境において、グラフ推定の品質がモデル性能に与える影響を評価すること。
• 元のグリッド構造を持たない設定において、グラフベースの深層学習のためのベースラインを確立すること

提案手法

• グラフラプラシアンを並進不変作用素として用いることで、スペクトルネットワークフレームワークを提案。これにより、局所的かつ重み共有のフィルタが可能になる。
• データから類似度行列を推定するための自己教師ありおよび教師ありのグラフ推定戦略を導入。教師あり推定では、低次のモーメントとラベル情報を利用する。
• グラフフーリエ変換を用いて周波数領域でフィルタを定義し、ラプラシアンと可換となる線形変換として畳み込みを定式化する。
• スプライン補間を用いて周波数ドメインのフィルタを学習させ、1特徴マップあたり$O(1)$のパラメータ数で効率的なパrameterizationを実現する。
• 2段階の訓練プロセスを採用：まずデータからグラフ構造を推定（自己教師ありまたは教師あり）、次に推定されたグラフ上でスペクトルネットワークを訓練する。
• 教師ありグラフ推定において、ネットワークが自己調整され、より局所的かつ重み共有の性質を強化するブートストラップ的メカニズムを導入

実験結果

リサーチクエスチョン

• RQ1 ステーショナリティや局所性の仮定が成り立たないような、テキストや遺伝子発現データのような非ユークリッド的データに対し、学習可能なグラフ構造を有するスペクトルネットワークは効果的に一般化可能か？
• RQ2 グラフ構造とスペクトルフィルタを同時に学習することで、完全結合ネットワークと比較してモデルの複雑さが低減され、性能は維持または向上するか？
• RQ3 低データ量の環境下で、自己教師ありと教師ありのグラフ推定の品質が、下流の分類精度に与える影響はいかほどか？
• RQ4 ノイズや誤推定が存在する状況において、スペクトルネットワークの性能が推定されたグラフの正確性にどれほど依存するか？
• RQ5 大規模ベンチマーク、たとえばImageNet上において、スペクトルネットワークはドロップアウト正則化を施した標準的なディープネットワークと同等または優れた性能を発揮できるか？

主な発見

• ImageNetデータセットでは、2次元グリッド構造が既知であるが、スペクトルネットワークはトップ-1正解率46.71%、トップ-5正解率71.998%を達成し、標準的なConvNetと同等の性能を示した。
• 初期段階の訓練では、スペクトルネットワークが標準的なConvNetよりも高速に学習を進めたが、最終的には両者とも同程度の性能に収束した。
• テキスト分類およびバイオインフォマティクスタスクにおいて、ドロップアウトを用いて訓練された大規模な完全結合ネットワークと同等または優れた性能を示したが、パラメータ数は著しく少なかった。
• ラベル情報が利用可能な教師ありグラフ推定が、低次のモーメントに基づく自己教師あり推定を上回った。これは、ラベル情報がグラフ構造の推定を改善することを示している。
• モデルの性能はグラフ推定の誤差に極めて敏感であり、事前知識が欠如する状況では、グラフ推定が統計的ボトルネックとなっていることが明らかになった。
• 本フレームワークは、高次元かつ非構造的なデータに対しても、データからグラフ構造を学習することで、低複雑性かつ局所的・重み共有の表現が可能であることを示した。