[論文レビュー] Graph Learning-Convolutional Networks

Bo Jiang, Ziyan Zhang+2 more|arXiv (Cornell University)|Nov 25, 2018

Advanced Graph Neural Networks参考文献 13被引用数 7

ひとこと要約

本稿では、半教師ありノード分類のための統合的深層学習フレームワークであるグラフ学習-畳み込みネットワーク（GLCN）を提案する。GLCNは、グラフ構造学習とグラフ畳み込みを同時に最適化することで、与えられたラベルと予測ラベルを弱い監視信号として統合し、学習中に動的にグラフトポロジーを改善する。7つのベンチマークで最先端の性能を達成し、画像ネットワークおよび引用ネットワークにおいてGCNやGATよりも顕著な向上を示した。

ABSTRACT

Recently, graph Convolutional Neural Networks (graph CNNs) have been widely used for graph data representation and semi-supervised learning tasks. However, existing graph CNNs generally use a fixed graph which may be not optimal for semi-supervised learning tasks. In this paper, we propose a novel Graph Learning-Convolutional Network (GLCN) for graph data representation and semi-supervised learning. The aim of GLCN is to learn an optimal graph structure that best serves graph CNNs for semi-supervised learning by integrating both graph learning and graph convolution together in a unified network architecture. The main advantage is that in GLCN, both given labels and the estimated labels are incorporated and thus can provide useful 'weakly' supervised information to refine (or learn) the graph construction and also to facilitate the graph convolution operation in GLCN for unknown label estimation. Experimental results on seven benchmarks demonstrate that GLCN significantly outperforms state-of-the-art traditional fixed structure based graph CNNs.

研究の動機と目的

• 既存のグラフ畳み込みニューラルネットワーク（GCN）における固定グラフ構造の制限を解消すること。
• グラフ学習とグラフ畳み込みを統合した、エンド・ツー・エンドで学習可能なアーキテクチャを構築し、表現学習を向上させること。
• 与えられたラベルと予測ラベルの両方を弱い監視信号として活用し、グラフ構築の最適化と分類性能の向上を図ること。
• グラフとモデルパラメータの最適化を別々に行うのではなく、統合的なトレーニングパラダイムを構築すること。
• 最先端の手法と比較して、多様な半教師あり学習ベンチマークで優れた性能を示すことを実証すること。

提案手法

• GLCNは、バックプロパゲーション中に真のラベルと予測ラベルの両方を用いて、隣接行列を微分可能に更新するグラフ構造学習モジュールを導入する。
• 対称正規化された隣接行列 $ D^{-1/2}AD^{-1/2} $ を用いた変更版GCN層を採用し、計算効率を維持する。
• ノード分類の交差エントロピーと、予測ラベルと真のラベルの一致を促進する正則化項 $ \lambda \| \hat{Y} - Y \|_F^2 $ を組み合わせた共同損失関数を用いる。
• グラフ構造とGCNパラメータをエンド・ツー・エンドで最適化することで、トポロジーと特徴表現の両方を同時に学習可能にする。
• 任意のグラフ畳み込み演算をサポートし、さまざまなGCNバリエーションと互換性を持つ。
• 単一の最適化ループでトレーニングされるため、実装が簡素化され、収束性が向上する。

実験結果

リサーチクエスチョン

• RQ1 固定グラフ構造に依存する従来のGCNとは異なり、グラフ構造とグラフ畳み込みを同時に学習することで、半教師ありノード分類の性能を向上させられるか？
• RQ2 真のラベルと予測ラベルの両方を監視信号として統合することで、グラフ学習とモデル性能がどのように向上するか？
• RQ3 グラフ構造とモデルパラメータをエンド・ツー・エンドで最適化することで、グラフとモデルのコンponentを別々に学習するのと比べて、一般化性能が向上するか？
• RQ4 ネットワークの深さ、隠れユニット数、グラフ学習正則化係数 $ \lambda $ などのハイパーパrameterに対して、GLCNはどれほど感度を示すか？
• RQ5 GLCNは、半教師ありノード分類を越えて、他のグラフベースの学習タスクにも一般化可能か？

主な発見

• GLCNは全7つのベンチマークでベースラインのGCNを上回り、引用ネットワーク（Cora, Citeseer, PubMed）では平均3.7%の精度向上を達成し、画像データセット（CIFAR10, SVHN, MNIST, Scene15）では最大4.5%の向上を示した。
• MNISTデータセットでは、2層の畳み込み層を用いた同一設定下で、GLCNは94.10%のテスト精度を達成したのに対し、GCNは90.70%にとどまった。
• 全データセットでGAT、LP、ManiReg、DeepWalkを常に上回り、表現学習と一般化性能の優位性を示した。
• 深さや隠れユニット数の変化に対してもロバストであり、さまざまな構成においても性能低下が最小限に抑えられた。
• グラフ学習正則化係数 $ \lambda $ は性能向上に寄与し、最適値は約 $ 10^{-2} $ であった。$ \lambda = 0 $ の場合でも妥当な結果が得られたことから、本手法の安定性が裏付けられた。
• 可視化結果から、特に隠れ層においてGLCNはGCNよりもより判別力のあるノード表現を生成しており、分類性能の向上に寄与していることが示された。