[論文レビュー] Neural Graph Machines: Learning Neural Networks Using Graphs

Thang D. Bui, Sujith Ravi+1 more|arXiv (Cornell University)|Mar 14, 2017

Advanced Graph Neural Networks参考文献 12被引用数 26

ひとこと要約

この論文は、教師ありニューラルネットワーク学習とラベル伝播を組み合わせることで、半教師ありタスクのパフォーマンスを向上させるグラフ正則化訓練フレームワーク、Neural Graph Machines (NGM) を導入する。グラフ構造データを損失関数に組み込むことで、確率的勾配降下法を用いた効率的かつスケーラブルな訓練が可能となり、多様なアーキテクチャ（FFNN、CNN、LSTM）およびデータセットで、特にラベルが少ない状況下で最先端または競争力のある結果を達成する。

ABSTRACT

Label propagation is a powerful and flexible semi-supervised learning technique on graphs. Neural networks, on the other hand, have proven track records in many supervised learning tasks. In this work, we propose a training framework with a graph-regularised objective, namely "Neural Graph Machines", that can combine the power of neural networks and label propagation. This work generalises previous literature on graph-augmented training of neural networks, enabling it to be applied to multiple neural architectures (Feed-forward NNs, CNNs and LSTM RNNs) and a wide range of graphs. The new objective allows the neural networks to harness both labeled and unlabeled data by: (a) allowing the network to train using labeled data as in the supervised setting, (b) biasing the network to learn similar hidden representations for neighboring nodes on a graph, in the same vein as label propagation. Such architectures with the proposed objective can be trained efficiently using stochastic gradient descent and scaled to large graphs, with a runtime that is linear in the number of edges. The proposed joint training approach convincingly outperforms many existing methods on a wide range of tasks (multi-label classification on social graphs, news categorization, document classification and semantic intent classification), with multiple forms of graph inputs (including graphs with and without node-level features) and using different types of neural networks.

研究の動機と目的

• グラフベースの半教師あり学習とディープニューラルネットワークを統合する包括的でスケーラブルな訓練フレームワークの開発。
• ラベル付きデータとグラフで接続されたラベルなしデータを併用したニューラルネットワークの共同訓練を可能にし、データが少ない状況での一般化性能を向上させること。
• フィードフォワード、畳み込み、再帰的ネットワークを含む多様なニューラルアーキテクチャに対応するように、既存のグラフ拡張訓練手法を一般化すること。
• 別々のグラフ埋め込みと分類ステップを含む高コストな二段階パイプラインを回避するエンドツーエンドの訓練アプローチを提供すること。
• 標準的なニューラルネットワークと比較して、グラフ正則化がより高速で小さく、かつ正確なモデルを生成できることを示すこと。

提案手法

• NGMフレームワークは、標準的な教師あり損失と、ラベル伝播にインspiredされたグラフ正則化項を組み合わせた共同訓練目的関数を導入する。
• グラフ正則化項は、グラフ内で接続されたノードの隠れ表現が類似することを強制し、グラフ構造上での滑らかさを促進する。
• 目的関数は微分可能であり、確率的勾配降下法に適しており、エッジ数に線形に比例する実行時間で大規模グラフ上での効率的訓練が可能である。
• この手法はインダクティブおよびトランスダクティブな設定をサポートし、ノード特徴量の有無に関わらずグラフを処理できる。
• ノード特徴量とグラフ構造を、ニューラルネットワークへの入力として共同で使用し、隣接行列が直接正則化に影響を与える。
• 複数のグラフタイプ、例えば引用ネットワーク、類似性グラフ、知識グラフから導出された関係をサポートする。

実験結果

リサーチクエスチョン

• RQ1 グラフ正則化訓練は、半教師あり学習環境下でのニューラルネットワークのパフォーマンスを向上させることができるか？
• RQ2 提案されたフレームワークは、FFNN、CNN、LSTM などの異なるニューラルネットワークアーキテクチャに一般化可能か？
• RQ3 グラフ正則化を用いたニューラルネットワークの共同訓練は、事前に埋め込みを学習してから分類器を訓練する二段階的手法を上回るか？
• RQ4 ラベル付きノードが非常に少ない状況で、この手法はどの程度有効か？
• RQ5 大規模グラフに効率的にスケーリング可能でありながら、高いパフォーマンスを維持できるか？

主な発見

• NGM-FFNNモデルは、PubMed引用ネットワークデータセットで75.9％の精度を達成し、Planetoid-Iを除くすべてのベースラインを上回った。
• ラベル付きノードがクラスあたり20個の低サンプル状況下で、NGMは標準的なFFNNおよびラベル伝播や多様体正則化などの他の半教師あり手法を顕著に上回った。
• NGMフレームワークは、より単純でエンドツーエンドの訓練プロセスを採用しながらも、事前学習されたグラフ埋め込みと別個の分類器に依存する二段階手法を上回った。
• マルチラベル分類（ソーシャルグラフ）、ニュース分類、意味的意図分類など、複数のタスクで一貫した改善を示した。
• より小さく、高速なニューラルネットワークの訓練を可能にし、より大きな非グラフ拡張モデルの性能を上回った。
• アブレーションスタディにより、特にラベルデータが少ない状況下で、グラフ正則化項がパフォーマンス向上に不可欠であることが確認された。