[論文レビュー] Multi-Stage Self-Supervised Learning for Graph Convolutional Networks on Graphs with Few Labels

Ke Sun, Zhouchen Lin+1 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Graph Neural Networks参考文献 23被引用数 18

ひとこと要約

本稿では、マルチステージトレーニングフレームワークとDeepClusterに基づく自己教師あり学習を組み合わせることで、ラベル付きノードが少ないグラフにおいてグラフ畳み込みネットワーク（GCNs）の性能を向上させる、新しいアルゴリズムであるマルチステージ自己教師あり（M3S）トレーニングを提案する。繰り返しクラスタリングによる擬似ラベルの精練と埋め込みの整合性をとることで、M3Sは一般化性能を著しく向上させ、特にラベルが少ない状況下でも最先端の手法を上回る。

ABSTRACT

Graph Convolutional Networks(GCNs) play a crucial role in graph learning tasks, however, learning graph embedding with few supervised signals is still a difficult problem. In this paper, we propose a novel training algorithm for Graph Convolutional Network, called Multi-Stage Self-Supervised(M3S) Training Algorithm, combined with self-supervised learning approach, focusing on improving the generalization performance of GCNs on graphs with few labeled nodes. Firstly, a Multi-Stage Training Framework is provided as the basis of M3S training method. Then we leverage DeepCluster technique, a popular form of self-supervised learning, and design corresponding aligning mechanism on the embedding space to refine the Multi-Stage Training Framework, resulting in M3S Training Algorithm. Finally, extensive experimental results verify the superior performance of our algorithm on graphs with few labeled nodes under different label rates compared with other state-of-the-art approaches.

研究の動機と目的

• ラベル付きノードが少ない状況下でGCNの一般化性能が著しく低下する問題に取り組むこと、特に浅いアーキテクチャがラベル信号の伝搬を制限するためである。
• 最小限のラベルデータでの弱教師あり設定において、一貫して効果的なGCN用トレーニングアルゴリズムを開発すること。
• 自己教師あり学習、特にDeepClusterをマルチステージトレーニングフレームワークに統合し、ラベルなしデータを活用してモデル性能を向上させること。
• クラスタベースの整合性メカニズムを設計し、擬似ラベルの品質を向上させ、低ラベルレートのグラフにおけるトレーニングの安定性を高めること。

提案手法

• 高信頼度のラベルなしノード（擬似ラベルを割り当てたもの）を繰り返し訓練セットに追加する、反復的なマルチステージトレーニングフレームワークを提案する。これは信頼度フィルタリングを伴う自己トレーニングを模倣する。
• GCNの埋め込み特徴に基づいてDeepClusterを適用し、人為的ラベルなしでラベルなしノードのクラスタ割り当て（擬似ラベル）を生成する。
• クラスタ割り当てと予測クラス分布の整合性を強制する、新しいアライニングメカニズムを設計し、擬似ラベルの品質を向上させる。
• マルチステージフレームワークにDeepClusterによる擬似ラベル付けを段階的に統合し、各ステージで埋め込みと予測を精練する。
• 対称的ラプラシアンスムージングを理論的基盤として用い、GCNの限界を分析し、より深い反復的トレーニングの必要性を裏付ける。
• Max-Min Ratioを用いて擬似ラベルのクラスバランスを測定し、DeepClusterにおけるクラスタ数の最適化を行い、自明な解を回避する。

実験結果

リサーチクエスチョン

• RQ1 ラベル数が非常に少ない場合、ラベル信号の伝搬が非効率であるため、GCNの性能が著しく低下するのか？
• RQ2 繰り返し擬似ラベル付けを伴うマルチステージトレーニングフレームワークは、ラベル付きノードが少ないグラフにおけるGCNの一般化性能を向上させることができるのか？
• RQ3 マルチステージトレーニング戦略と組み合わせたDeepClusterによる自己教師あり学習は、モデル性能をどのように向上させるのか？
• RQ4 低監視状況下での擬似ラベルのバランスと最終分類精度に与えるクラスタ数の影響は何か？
• RQ5 提案されたM3Sフレームワークは、多様なグラフデータセットとラベルレートにおいて、常に既存の最先端手法を上回ることができるのか？

主な発見

• GCNの性能は、ラベルレートが低いグラフでは著しく低下し、ラベル数が非常に少ない場合にはラベル伝搬法の性能を下回る。
• Co-Training、Self-Training、Union、Intersectionといった既存手法は、異なるラベルレートで一貫性のない性能を示し、実用的導入に制限がある。
• マルチステージトレーニングフレームワークは、標準的なSelf-Trainingを上回り、特にスパarsなラベル設定下で、反復的データ拡張の価値を示している。
• M3Sトレーニングアルゴリズムは、すべてのデータセットとラベルレートにおいて、すべての最先端ベースラインを一貫して上回り、特にラベルレートが最も低い場合に最大の向上を示している。
• Max-Min Ratio指標は、DeepClusterにおけるクラスタ数の増加がクラスバランスを改善し、結果としてモデル性能の向上に寄与することを示している。
• 本手法は、Cora、Citeseer、PubMedの各データセットで最先端の精度を達成し、特にPubMedではラベルレートが低い状況で最大70.6%の向上を達成している。