[論文レビュー] Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning

Sheng Wan, Shirui Pan+2 more|arXiv (Cornell University)|Sep 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 60被引用数 12

ひとこと要約

本稿では、半教師あり対照学習とグラフ生成モデリングを統合することで表現学習を強化する、新しいグラフ畳み込みニューラルネットワークフレームワークCG3を提案する。マルチビューのグラフ畳み込みにおけるデータ類似性および特徴量とトポロジーの構造的関係を活用することで、特にラベルが少ない状況下でも最先端の性能を達成し、Cora、CiteSeer、PubMedの各データセットでDGI、GRACE、MVGRLなどの手法を最大4%の精度向上で上回る。

ABSTRACT

Graph-based Semi-Supervised Learning (SSL) aims to transfer the labels of a handful of labeled data to the remaining massive unlabeled data via a graph. As one of the most popular graph-based SSL approaches, the recently proposed Graph Convolutional Networks (GCNs) have gained remarkable progress by combining the sound expressiveness of neural networks with graph structure. Nevertheless, the existing graph-based methods do not directly address the core problem of SSL, i.e., the shortage of supervision, and thus their performances are still very limited. To accommodate this issue, a novel GCN-based SSL algorithm is presented in this paper to enrich the supervision signals by utilizing both data similarities and graph structure. Firstly, by designing a semi-supervised contrastive loss, improved node representations can be generated via maximizing the agreement between different views of the same data or the data from the same class. Therefore, the rich unlabeled data and the scarce yet valuable labeled data can jointly provide abundant supervision information for learning discriminative node representations, which helps improve the subsequent classification result. Secondly, the underlying determinative relationship between the data features and input graph topology is extracted as supplementary supervision signals for SSL via using a graph generative loss related to the input features. Intensive experimental results on a variety of real-world datasets firmly verify the effectiveness of our algorithm compared with other state-of-the-art methods.

研究の動機と目的

• ラベル付きデータが限られるという半教師あり学習の核心的課題に対処する。これはモデルの一般化性能と学習安定性を制限する要因である。
• ラベルなしデータを構造の補助にとどめず、対照学習によるデータ類似性の活用によって能動的監視信号を獲得する。
• 入力グラフのトポロジーとノード特徴量の間の潜在的関係を抽出・利用し、補助的監視信号として活用する。
• 対照的および生成的目的を統合した統一されたGCNベースのフレームワークを構築し、判別性の高いノード表現学習を向上させる。
• 特にラベル付きデータが乏しい状況下でも、トランスductiveノード分類において優れた性能を達成する。

提案手法

• 同じノードのグローバルビューとローカルビューの間で表現の整合性を最大化する半教師あり対照損失を提案する。クラス情報を利用して表現の整合性をガイドする。
• 対照学習のためのマルチビュー表現を生成するために、標準GCNとHGCNの2本の並列GCNブランチを用いる。
• 入力グラフのトポロジーをノード特徴量の条件下でモデル化するグラフ生成損失を導入し、構造と特徴量の決定的関係を捉える。
• 対照損失とグラフ生成損失を統合した訓練目的にすることで、表現学習と構造的一致性の両方を同時に最適化する。
• ラベル付きデータ、ラベルなしデータ、グラフトポロジーを組み合わせて、モデルをエンドツーエンドに訓練し、監視信号を豊かにする。

実験結果

リサーチクエスチョン

• RQ1 クラスに依存する監視のもとでの対照学習は、ラベルが少ない半教師あり学習におけるノード表現品質を向上させ得るか？
• RQ2 ノード特徴量とグラフトポロジーの構造的関係を組み込むことで、分類性能はどのように向上するか？
• RQ3 対照学習を用いたマルチビューのグラフ畳み込みは、単一ビューのGCNベースラインに比べて、トランスductiveノード分類でどれほど優れているか？
• RQ4 グラフトポロジーの生成モデリングを統合することで、ラベル付きデータが少ない状況下での一般化性能は向上するか？
• RQ5 対照的および生成的コンポonentが、全体の性能向上にそれぞれどの程度寄与しているか？

主な発見

• Coraデータセットでは、CG3は83.4%の精度を達成し、次に優れた手法（HGCN）を0.5%、ベースラインGCNを5.0%上回った。
• CiteSeerでは0.5%のラベル率のもとで、CG3は62.7%の精度を達成し、最良のベースライン（MVGRL）を1.0%、DGIを2.0%上回った。
• PubMedでは0.03%のラベル率のもとで、CG3は68.3%の精度を達成し、同様の低監視条件下でGCN（61.8%）とGRACE（64.4%）を著しく上回った。
• アブレーションスタディの結果、対照損失または生成損失のいずれかを削除すると性能が低下し、特にCiteSeerでは対照損失が最大4%の精度向上に寄与した。
• t-SNE可視化では、CG3がGCN や HGCN よりもより一貫性があり分離性の高いクラスクラスタを生成しており、優れた表現学習を示している。
• 本稿の手法は、Cora、CiteSeer、PubMedの全データセットおよび全ラベル率において、最先端の対照的GCN手法（DGI、GMI、MVGRL、GRACE）を常に上回り、極端なラベル不足状況下でも顕著な優位性を示した。