[論文レビュー] Self-supervised Training of Graph Convolutional Networks

Qikui Zhu, Bo Du+1 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Graph Neural Networks参考文献 21被引用数 27

ひとこと要約

本稿では、ラベルなしデータを必要とせず、グラフ畳み込みネットワーク（GCNs）の性能を向上させるために、2つの自己教師あり学習戦略—ランダムにリンクを除去する（RRL）およびランダムに特徴をマスクする（RCF）—を提案する。グラフ構造とノード特徴を事前学習タスクとして活用することで、特徴の学習を強化し、論文ネットワークにおいて分類精度を向上させ、Cora、Citeseer、PubMedの3つのベンチマークで最先端の性能を達成した。GCNでは平均2.65%、GATでは平均0.70%の向上を達成した。

ABSTRACT

Graph Convolutional Networks (GCNs) have been successfully applied to analyze non-grid data, where the classical convolutional neural networks (CNNs) cannot be directly used. One similarity shared by GCNs and CNNs is the requirement of massive amount of labeled data for network training. In addition, GCNs need the adjacency matrix as input to define the relationship between those non-grid data, which leads to all of data including training, validation and test data typically forms only one graph structures data for training. Furthermore, the adjacency matrix is usually pre-defined and stationary, which makes the data augmentation strategies cannot be employed on the constructed graph structures data to augment the amount of training data. To further improve the learning capacity and model performance under the limited training data, in this paper, we propose two types of self-supervised learning strategies to exploit available information from the input graph structure data itself. Our proposed self-supervised learning strategies are examined on two representative GCN models with three public citation network datasets - Citeseer, Cora and Pubmed. The experimental results demonstrate the generalization ability as well as the portability of our proposed strategies, which can significantly improve the performance of GCNs with the power of self-supervised learning in improving feature learning.

研究の動機と目的

• GCNが大量のラベル付きデータを必要とするという制限、特にデータが少ない状況下での課題に対処すること。
• GCNにおける静的で事前に定義されたグラフ構造がデータ拡張を妨げるという課題を克服すること。
• 手動によるアノテーションなしに、グラフの内在的構造とノード特徴を活用してGCNの特徴学習能力を向上させること。
• 異なるGCNアーキテクチャーやデータセットに一般化可能で持ち運び可能な自己教師あり学習戦略を開発すること。

提案手法

• ランダムにリンクを除去する（RRL）およびランダムに特徴をマスクする（RCF）の2つの自己教師あり事前学習タスクを導入し、代替の教師信号を生成する。
• GCNおよびGATモデルに、事前学習タスク用のリンク予測ヘッドを末尾に追加することで変更する。
• Adam最適化法を用い、L2正則化とドロップアウトを適用して、ランダムに削除されたエッジ（RRL）およびマスクされたノード特徴（RCF）を用いた元のグラフ上でモデルを学習する。
• 自己教師あり学習フェーズで得た重みを分類ヘッドの初期化に使用し、その後、下流のノード分類タスクでファインチューニングを行う。
• 自己教師あり事前学習で得られたノード表現の質を評価するため、t-SNE可視化を実施する。
• 統計的妥当性を確保するため、複数回（10回）の実験を実施し、平均精度と95%信頼区間を報告する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況下でも、自己教師あり学習はGCNの特徴表現能力を向上させることができるか？
• RQ2 RRLおよびRCFは、論文ネットワークベンチマークにおけるGCN性能の向上にどの程度有効であるか？
• RQ3 自己教師あり事前学習戦略は、GCNやGATといった異なるGCNアーキテクチャに一般化可能か？
• RQ4 RRLおよびRCFは、個別および共同で最終的な分類精度にどの程度寄与しているか？
• RQ5 自己教師あり学習は、追加のアノテーションなしに、標準的な論文ネットワークデータセットで最先端の性能を達成できるか？

主な発見

• RRLとRCFの組み合わせ（RRL & RCF）は、Coraデータセットで最高の性能を達成し、個別の戦略およびベースラインのGCNを顕著に上回った。
• RRLおよびRCFの両方とも、ベースラインと比較してGCNの精度を向上させた。パaired t検定のp値はいずれも0.05未満であり、統計的に有意であることが確認された。
• RRL & RCF戦略は、Citeseer、Cora、PubMedの平均でGCN性能を2.65%向上させ、優れた一般化性と移植可能性を示した。
• GATモデルに対しても自己教師あり戦略の恩恵があり、平均0.70%の向上を示した。アーキテクチャを越えた堅牢性が裏付けられた。
• t-SNE可視化により、自己教師あり学習が、入力特徴よりも識別性が高く、明確に分離されたノード表現を生成していることが確認された。
• 提案手法は、3つの論文ネットワークデータセットすべてで最先端の性能を達成し、その有効性と転送可能性が検証された。