[論文レビュー] Graph Laplacian Regularized Graph Convolutional Networks for Semi-supervised Learning

Bo Jiang, Doudou Lin|arXiv (Cornell University)|Sep 26, 2018

Advanced Graph Neural Networks参考文献 5被引用数 9

ひとこと要約

本稿では、特徴表現とラベル予測の両方にグラフラプラシアン正則化を統合することで、グラフ構造データにおける半教師あり学習を向上させる、グラフラプラシアン正則化付きグラフ畳み込みネットワーク（gLGCN）を提案する。類似するノードが類似した表現とラベルを持つように保証する局所不変性を課すことにより、モデルのロバスト性が向上し、論文ネットワークベンチマークで最先端の性能を達成する。Citeseerでは71.4%、Coraでは83.3%、PubMedでは79.3%の精度向上を達成した。

ABSTRACT

Recently, graph convolutional network (GCN) has been widely used for semi-supervised classification and deep feature representation on graph-structured data. However, existing GCN generally fails to consider the local invariance constraint in learning and representation process. That is, if two data points Xi and Xj are close in the intrinsic geometry of the data distribution, then their labels/representations should also be close to each other. This is known as local invariance assumption which plays an essential role in the development of various kinds of traditional algorithms, such as dimensionality reduction and semi-supervised learning, in machine learning area. To overcome this limitation, we introduce a graph Laplacian GCN (gLGCN) approach for graph data representation and semi-supervised classification. The proposed gLGCN model is capable of encoding both graph structure and node features together while maintains the local invariance constraint naturally for robust data representation and semi-supervised classification. Experiments show the benefit of the benefits the proposed gLGCN network.

研究の動機と目的

• 標準のGCNが局所不変性（類似するノードが類似した表現とラベルを持つべき）を十分に強制しないという限界を解消すること。
• 学習済み特徴表現とラベル予測の両方にグラフラプラシアン正則化を統合し、データの局所幾何的構造を保持すること。
• 多様体仮説とラベル伝搬を活用することで、半教師ありノード分類におけるロバスト性と一般化性能を向上させること。
• 特徴表現とラベル予測最適化を統一的なフレームワークで統合し、共同正則化を実現すること。
• 従来の半教師あり手法と比較して、標準的な論文ネットワークデータセット（Cora、Citeseer、PubMed）で優れた性能を示すこと。

提案手法

• 最終層の表現 $X^{(K)}$ とラベル予測 $Z$ の両方にグラフラプラシアン正則化を組み込んだ統合損失関数を提案する。
• 学習済み特徴の局所構造を保つために、正則化項 $\mathcal{L}_{\mathrm{reg}}(X^{(K)}) = \sum_{i,j} S_{ij} \|X^{(K)}_i - X^{(K)}_j\|^2$ を使用する。
• グラフ上での予測の滑らかさを強制するために、ラベル予測正則化 $\mathcal{L}_{\mathrm{reg}}(Z) = \sum_{i,j} S_{ij} \|Z_i - Z_j\|^2$ を適用する。
• 類似度行列 $S$ を隣接行列 $A$ や、ガウスカーネルを用いたk近傍グラフから構築する。
• バックプロパゲーションを用いて、GCNアーキテクチャと正則化項を一括して最適化する。
• 同じクラスのノードペアと異なるクラスのノードペアを区別できるように、ラベル相関を考慮した正則化 $C_{ij}$ を導入し、性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 グラフラプラシアン正則化は、半教師ありノード分類におけるGCNのロバスト性と精度を向上させ得るか？
• RQ2 特徴表現とラベル予測の両方に局所不変性を強制することで、グラフ構造データにおける一般化性能が向上するか？
• RQ3 提案手法のgLGCNは、GCN、Planetoid、ManiRegなどの最先端手法と比較して、標準的な論文ネットワークベンチマークで優れた性能を示すか？
• RQ4 特徴学習における正則化とラベル予測における正則化の、それぞれの貢献度は何か？
• RQ5 ラベル相関を考慮した正則化により、クラス類似度を明示的にモデル化することで、性能がさらに向上するか？

主な発見

• 提案手法のgLGCN-F-Lは、Citeseerで71.4%の精度を達成し、GCN（70.4%）および他のすべてのベースラインを上回った。
• Coraでは、gLGCN-F-Lが83.3%の精度を達成し、GCN（81.4%）および次に優れたベースライン（Planetoid 75.7%）を上回った。
• PubMedでは、gLGCN-F-Lが79.3%の精度を達成し、GCN（78.6%）を上回り、Planetoid（77.2%）をも凌駕した。
• アブレーションスタディの結果、特徴表現とラベル予測の両方に正則化を組み込むことで、最高の性能が得られた。
• gLGCN-L（ラベル正則化のみ）は、Citeseerで71.3%、Coraで82.7%の精度を達成しており、ラベルスムージングのみでも顕著な向上が得られたことが示された。
• 本モデルは、すべての3つのベンチマークデータセットで一貫した性能向上を示し、局所不変性制約を組み込む有効性が裏付けられた。