[論文レビュー] Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization

Mingxuan Ju, Tong Zhao+5 more|arXiv (Cornell University)|Oct 5, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

ParetoGNNは、相互情報量の最大化、特徴再構成、ホワイトニング分散など、多様な学習的哲学に基づく複数の事前学習タスクを統合的に最適化するマルチタスク自己教師付きグラフニューラルネットワークを提案する。複数勾配降下法を用いてパレート最適性を達成することで、ノード分類、クラスタリング、リンク予測、パーティショニングの各タスクにおいて、より優れたタスク一般化性能を実現し、11のベンチマークデータセットで最先端手法を上回り、平均的な性能ランクを2.5ポイント改善した。

ABSTRACT

Self-supervised learning (SSL) for graph neural networks (GNNs) has attracted increasing attention from the graph machine learning community in recent years, owing to its capability to learn performant node embeddings without costly label information. One weakness of conventional SSL frameworks for GNNs is that they learn through a single philosophy, such as mutual information maximization or generative reconstruction. When applied to various downstream tasks, these frameworks rarely perform equally well for every task, because one philosophy may not span the extensive knowledge required for all tasks. To enhance the task generalization across tasks, as an important first step forward in exploring fundamental graph models, we introduce PARETOGNN, a multi-task SSL framework for node representation learning over graphs. Specifically, PARETOGNN is self-supervised by manifold pretext tasks observing multiple philosophies. To reconcile different philosophies, we explore a multiple-gradient descent algorithm, such that PARETOGNN actively learns from every pretext task while minimizing potential conflicts. We conduct comprehensive experiments over four downstream tasks (i.e., node classification, node clustering, link prediction, and partition prediction), and our proposal achieves the best overall performance across tasks on 11 widely adopted benchmark datasets. Besides, we observe that learning from multiple philosophies enhances not only the task generalization but also the single task performances, demonstrating that PARETOGNN achieves better task generalization via the disjoint yet complementary knowledge learned from different philosophies. Our code is publicly available at https://github.com/jumxglhf/ParetoGNN.

研究の動機と目的

• 既存の自己教師付きグラフニューラルネットワークが通常1つの学習的哲学に依存しており、多様な下流タスクで性能を発揮できないという、タスク一般化の限界を解消すること。
• 異なる学習的哲学を有する複数の自己教師付き事前学習タスクを統合することで、複数のグラフ学習タスクにおける一般化性能が向上するかを調査すること。
• グラフの同型性（homophily）のようなインダクティブバイアスに依存せずに、すべての事前学習タスクから能動的に学習し、矛盾を最小限に抑える手法を開発すること。
• 複数の哲学的視点から得られる独立的かつ補完的な知識が、マルチタスクおよびシングルタスクの両方の性能を向上させることを実証すること。

提案手法

• ParetoGNNは、1つのグラフエンコーダーを用いて、それぞれが異なる学習的哲学（例：相互情報量の最大化、特徴再構成、ホワイトニング）に基づく複数の自己教師付き事前学習タスクを同時に最適化する。
• 複数勾配降下法を用い、異なる事前学習タスクからの勾配に動的重みを割り当てることで、パレート最適性を促進し、対立する目的をバランスさせる。
• 訓練中に擬似同型性やタスク固有のインダクティブバイアスを強制しないことで、同型性仮定に依存しない。
• すべての事前学習タスクからの勾配をバランスさせるための統合損失関数を用い、パレート制約付き最適化プロセスでエンドツーエンドに訓練する。
• 4つの下流タスク（ノード分類、ノードクラスタリング、リンク予測、パーティショニング予測）における11の広く使われているベンチマークデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 異なる学習的哲学を有する複数の自己教師付き事前学習タスクを統合することで、複数の下流グラフ学習タスクにおける一般化性能が向上するか？
• RQ2 同型性仮定を排除したマルチタスク自己教師付きフレームワークは、異型性を持つグラフに対しても強力な性能を発揮するか？
• RQ3 パレート最適化されたマルチ勾配アプローチは、異なる事前学習タスクからの対立する目的を効果的に調和させつつ、どのタスクの性能も犠牲とせずに実現できるか？
• RQ4 複数の補完的哲学から学習することで、シングルタスク性能の向上およびマルチタスク一般化の両方が達成できるか？

主な発見

• ParetoGNNは11のベンチマークデータセットすべてで最良の全体的性能を達成し、平均的な性能ランクで7つの最先端のSSLベースGNNを2.5ポイント上回った。
• BGRLのようなシングルタスクSSLベースラインでさえ、パラメータ数が少ないモデル（例：128または256次元）でもParetoGNNに劣らず、モデル容量に対する頑健性を示した。
• 性能向上はマルチタスク一般化にとどまらず、個々の下流タスクに対しても観察され、多様な哲学的視点から得られる補完的知識が学習を強化していることを確認した。
• 実験的結果から、AutoSSLのような先行手法がDGIなどの事前学習タスクにゼロ重みを割り当てることで一般化性能が損なわれるのを、ParetoGNNはすべてのタスクから能動的に学習することで回避した。
• ノード特徴が情報量が少ない状況でも、ParetoGNNは特徴再構成に基づく手法（例：GraphMAE）を上回る性能を維持した。