[論文レビュー] When Does Self-Supervision Help Graph Convolutional Networks?

Yuning You, Tianlong Chen+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Graph Neural Networks参考文献 53被引用数 65

ひとこと要約

本論文は自己教師あり学習をGCNへ組み込む3つの方式と3つのタスクを体系的に検討し、マルチタスクの自己教師あり学習がデータセットとアーキテクチャを問わず最も強い一般化とロバスト性の向上をもたらすことを示す。

ABSTRACT

Self-supervision as an emerging technique has been employed to train convolutional neural networks (CNNs) for more transferrable, generalizable, and robust representation learning of images. Its introduction to graph convolutional networks (GCNs) operating on graph data is however rarely explored. In this study, we report the first systematic exploration and assessment of incorporating self-supervision into GCNs. We first elaborate three mechanisms to incorporate self-supervision into GCNs, analyze the limitations of pretraining & finetuning and self-training, and proceed to focus on multi-task learning. Moreover, we propose to investigate three novel self-supervised learning tasks for GCNs with theoretical rationales and numerical comparisons. Lastly, we further integrate multi-task self-supervision into graph adversarial training. Our results show that, with properly designed task forms and incorporation mechanisms, self-supervision benefits GCNs in gaining more generalizability and robustness. Our codes are available at https://github.com/Shen-Lab/SS-GCNs.

研究の動機と目的

• 自己教師あり学習がGCN分類性能を向上させるかを評価する。
• GCNにとって有益な自己教師ありタスク設計を特定する。
• 自己教師あり学習をGCNに統合するための事前学習、自己学習、マルチタスク学習スキームを比較する。
• 自己教師あり学習がグラフの対向干渉に対するロバスト性を高めるかを評価する。

提案手法

• GCNへ自己教師あり学習を注入する3つのスキームを分析する：事前学習＋ファインチューニング、自己学習（M3S）、マルチタスク学習。
• GCN特有の自己教師ありタスクを3つ提案する：ノードクラスタリング、グラフ分割、グラフ補完。
• マルチタスク学習を監制付き損失と自己教師あり損失（α重み付き）を用いた結合目的として formalize する。
• 自己教師あり学習を正則化項として adversarial training の際のグラフ対向防御設定を導入する。
• 標準データセット（Cora、Citeseer、PubMed）とSOTA GNN（GCN、GAT、GIN、GMNN、GraphMix）を横断して一般化とロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習はGCNの分類性能を改善するか。
• RQ2 GCNに有用な自己教師あり前提タスクは何か。
• RQ3 自己教師ありタスクの設計はデータセットとアーキテクチャを通じてGCNの性能に影響を与えるか。
• RQ4 自己教師あり学習はGCNの対向攻撃に対するロバスト性を改善するか。
• RQ5 異なる自己教師ありスキームは実践上どのように比較されるか。

主な発見

パイプライン	Cora	Citeseer	PubMed
GCN	81.00 ± 0.67	70.85 ± 0.70	79.10 ± 0.21
P&F-Clu	81.83 ± 0.65	71.06 ± 0.59	79.20 ± 0.22
P&F-Par	81.42 ± 0.51	70.68 ± 0.81	79.19 ± 0.21
P&F-Comp	81.25 ± 0.65	71.06 ± 0.55	79.19 ± 0.39
M3S	81.60 ± 0.51	71.94 ± 0.83	79.28 ± 0.30
MTL-Clu	81.57 ± 0.59	70.73 ± 0.84	78.79 ± 0.36
MTL-Par	81.83 ± 0.65	71.34 ± 0.69	80.00 ± 0.74
MTL-Comp	81.03 ± 0.68	71.66 ± 0.48	79.14 ± 0.28

• マルチタスク学習はデータセットを横断してGCNに対する事前学習＋ファインチューニングおよび自己学習を常に上回る。
• グラフ分割（トポロジベース）とグラフ補完（コンテキストベース）は強い利得を提供し、タスクの有効性はデータセットとアーキテクチャによって異なる。
• 異なるGNNアーキテクチャ（GCN、GAT、GIN）はマルチタスク自己監視から利益を得る一方、GMNN、GraphMixなどのSLAsはタスクによって結果が混在する。
• 自己教師あり学習を用いたマルチタスク学習は、大きなモデルや追加データを必要とせずに対向的グラフ攻撃に対するロバスト性を向上させる。
• 自己教師ありタスクとしてのグラフ補完は、近傍の文脈が有用な場合に substantial gains を提供できる。