[論文レビュー] Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning

Qimai Li, Zhichao Han+1 more|arXiv (Cornell University)|Jan 22, 2018

Advanced Graph Neural Networks被引用数 395

ひとこと要約

この論文は、GCNs がラプラシアン平滑化を実行することを示すことによりなぜ機能するのかを分析し、過平滑化や検証の必要性といった限界を特定し、非常に少ないラベルしかない半教師あり学習を強化するためのランダムウォークとの共訓練と自己訓練を提案します。

ABSTRACT

Many interesting problems in machine learning are being revisited with new deep learning tools. For graph-based semisupervised learning, a recent important development is graph convolutional networks (GCNs), which nicely integrate local vertex features and graph topology in the convolutional layers. Although the GCN model compares favorably with other state-of-the-art methods, its mechanisms are not clear and it still requires a considerable amount of labeled data for validation and model selection. In this paper, we develop deeper insights into the GCN model and address its fundamental limits. First, we show that the graph convolution of the GCN model is actually a special form of Laplacian smoothing, which is the key reason why GCNs work, but it also brings potential concerns of over-smoothing with many convolutional layers. Second, to overcome the limits of the GCN model with shallow architectures, we propose both co-training and self-training approaches to train GCNs. Our approaches significantly improve GCNs in learning with very few labels, and exempt them from requiring additional labels for validation. Extensive experiments on benchmarks have verified our theory and proposals.

研究の動機と目的

• GCN が半教師あり学習でどのように機能するか、なぜ成功するのか失敗するのかを明らかにする。
• ラプラシアン平滑化による浅い/深い GCN アーキテクチャの限界を分析する。
• 少数のラベルで性能を向上させるための学習時戦略を提案する（ランダムウォークを用いた共訓練と自己訓練）。
• 追加の検証データなしで標準のグラフベンチマークで経験的な向上を示す。

提案手法

• GCN畳み込みが対称ラプラシアン平滑化の特殊な形であることを示す。
• Derive the propagation rule H^{(l+1)} = sigma( D~^{-1/2} A~ D~^{-1/2} H^{(l)} Theta^{(l)} ).
• ラプラシアン平滑化が同じクラスターの特徴の類似性を促進する理由を説明し、層をまたいだ過平滑化を引き起こす可能性がある。
• グローバルなグラフ構造を訓練に取り込むためにランダムウォーク（ParWalks）を用いた共訓練を提案する。
• GCNの予測を用いてラベル付き集合を拡張する自己訓練を提案する。
• 検証データの追加なしでラベルを堅牢に拡張するために共訓練と自己訓練（UnionとIntersection）を組み合わせる。
• 必要なラベル eta のヒューリスティックな下限を (d_hat)^{tau} * eta ~ n によって提供し、ラベルの必要性を見積もる。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークが半教師付き学習でなぜうまく機能するのか？
• RQ2 浅い対深いアーキテクチャにおけるGCNの根本的な限界は何か（例：過平滑化、ラベルの伝播）？
• RQ3 これらの制限を緩和し、ラベル付き検証データの必要性を減らすまたはなくす訓練戦略を設計できるか？
• RQ4 ランダムウォークを用いた共訓練と自己訓練は非常に少ないラベルでGCNの性能を向上させるか、Union/Intersection戦略はどのように比較されるか？
• RQ5 小さなラベリング率で、これらの手法は標準的なグラフベンチマーク（Cora、CiteSeer、PubMed）でどう機能するか？

主な発見

• GCNの畳み込みはラプラシアン平滑化の一形態として作用し、隣接情報を混ぜて分類を容易にする理由を説明する。
• 層が多すぎると過平滑化が生じ、連結成分間で特徴が識別不能になる。非常に深いGCNは訓練が難しい。
• 実際には評価した深いバリアントの中で二層のGCNが最も良い実用的性能を示すことが多い。
• ランダムウォークモデル（ParWalks）を用いた共訓練はグローバルなグラフ構造を用いてラベル付き集合を拡張し、追加の検証データなしでGCN訓練を強化する。
• 自己訓練は高信頼度のGCN予測を追加してラベル付きデータを増やし、グラフ構造が限られている場合の堅牢性を向上させる。
• ラベル拡張のUnionとIntersection戦略は一般に性能を向上させ、Unionが最も広い利得を提供し、Intersectionは不要なラベルをフィルタリングする可能性がある。