[論文レビュー] Multi-Stage Self-Supervised Learning for Graph Convolutional Networks.

Ke Sun, Zhanxing Zhu+1 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Graph Neural Networks被引用数 20

ひとこと要約

本稿では、ラベル付きノードが少ないグラフにおいて一般化性能を向上させるために、DeepClusterに基づく自己教師付き学習をマルチステージトレーニングフレームワークに統合した、新しいGCNトレーニングアルゴリズムであるマルチステージ自己教師付き（M3S）トレーニングを提案する。この手法は反復的なクラスタリングと特徴量のアライメントを通じて埋め込みの質を向上させ、低ラベルレート設定において最先端の性能を達成する。

ABSTRACT

Graph Convolutional Networks(GCNs) play a crucial role in graph learning tasks, however, learning graph embedding with few supervised signals is still a difficult problem. In this paper, we propose a novel training algorithm for Graph Convolutional Network, called Multi-Stage Self-Supervised(M3S) Training Algorithm, combined with self-supervised learning approach, focusing on improving the generalization performance of GCNs on graphs with few labeled nodes. Firstly, a Multi-Stage Training Framework is provided as the basis of M3S training method. Then we leverage DeepCluster technique, a popular form of self-supervised learning, and design corresponding aligning mechanism on the embedding space to refine the Multi-Stage Training Framework, resulting in M3S Training Algorithm. Finally, extensive experimental results verify the superior performance of our algorithm on graphs with few labeled nodes under different label rates compared with other state-of-the-art approaches.

研究の動機と目的

• ラベル付きノードが非常に少ない状況において、グラフ畳み込みネットワーク（GCN）を効果的に訓練する課題に対処すること。
• 自己教師付き学習を活用することで、低監視状況におけるGCNの一般化能力を向上させること。
• 複数段階のクラスタリングとアライメントを通じて、段階的にノード埋め込みを最適化するトレーニングフレームワークを設計すること。
• さまざまなラベルレート下でのグラフ学習タスクにおいて、既存の最先端手法を上回ること。

提案手法

• マルチステージトレーニングフレームワークを基盤として構築し、複数のトレーニング段階にわたりグラフ埋め込みを段階的に最適化可能にする。
• 各段階において、ラベルのないノードのための擬似ラベルを生成するために、自己教師付きクラスタリング手法であるDeepClusterを適用する。
• 連続する段階間でのクラスタをアライメントすることで、ノード表現を精緻化する埋め込み空間アライメント機構を設計する。
• ラベル付きデータと擬似ラベル付きクラスタの両方を用いて反復的にノード埋め込みを更新し、時間経過とともに特徴量の質を向上させる。
• クラスタリングと特徴量の最適化を交互に繰り返すことで、閉ループの自己教師付きメカニズムを形成する。
• 最終的なモデルは、教師信号と自己教師付きの擬似ラベルの両方を用いてエンドツーエンドで訓練され、耐障害性と一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 ラベルデータが限られる状況において、マルチステージトレーニングフレームワークはGCNの性能を向上させ得るか？
• RQ2 DeepClusterに基づく自己教師付き学習を統合することで、低ラベルレート環境下でのノード表現学習はどのように向上するか？
• RQ3 反復的な埋め込みアライメントは、さまざまなラベルレート下でのモデル一般化性能にどのような影響を与えるか？
• RQ4 ラベルの乏しさの程度が異なる条件下で、M3Sは最先端手法と比較してどのように性能を発揮するか？

主な発見

• M3Sトレーニングアルゴリズムは、ラベル付きノードが少ないグラフにおいて、既存の最先端手法を上回る優れた性能を達成する。
• 本手法は、複数のデータセットおよびさまざまなラベルレートにおいて一貫した改善効果を示し、特に低監視状況下で顕著である。
• DeepClusterと埋め込みアライメントの統合により、学習されたノード埋め込みの質が顕著に向上する。
• マルチステージトレーニングフレームワークにより段階的な最適化が可能となり、収束性と一般化性能が向上する。
• 自己教師付きコンponentが限られたラベルデータに対する依存度を低減し、効果的に補完する。
• 広範な実験により、M3Sの強靭性と有効性が多様なグラフ学習ベンチマークで確認された。