[論文レビュー] Automated Self-Supervised Learning for Graphs

Wei Jin, Xiaorui Liu+4 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Graph Neural Networks参考文献 59被引用数 21

ひとこと要約

本稿では、自己教師あり学習（SSL）タスクの最適な組み合わせを、下流の性能の非教師付き代理指標としての疑似同型性（pseudo-homophily）を用いて自動的に探索するAutoSSLというフレームワークを提案する。同型性の原則（接続されたノードはラベルを共有する傾向がある）を活用し、DGI、Pairsim、PairDisなどの複数のSSLタスクの重みを動的に調整することで、ノード表現学習を向上させ、8つの実世界データセットにおけるノードクラスタリングおよび分類タスクで最先端の性能を達成した。

ABSTRACT

Graph self-supervised learning has gained increasing attention due to its capacity to learn expressive node representations. Many pretext tasks, or loss functions have been designed from distinct perspectives. However, we observe that different pretext tasks affect downstream tasks differently cross datasets, which suggests that searching pretext tasks is crucial for graph self-supervised learning. Different from existing works focusing on designing single pretext tasks, this work aims to investigate how to automatically leverage multiple pretext tasks effectively. Nevertheless, evaluating representations derived from multiple pretext tasks without direct access to ground truth labels makes this problem challenging. To address this obstacle, we make use of a key principle of many real-world graphs, i.e., homophily, or the principle that "like attracts like," as the guidance to effectively search various self-supervised pretext tasks. We provide theoretical understanding and empirical evidence to justify the flexibility of homophily in this search task. Then we propose the AutoSSL framework which can automatically search over combinations of various self-supervised tasks. By evaluating the framework on 7 real-world datasets, our experimental results show that AutoSSL can significantly boost the performance on downstream tasks including node clustering and node classification compared with training under individual tasks. Code is released at https://github.com/ChandlerBang/AutoSSL.

研究の動機と目的

• グラフ表現学習における自己教師あり学習（SSL）タスクの最適選択の課題に取り組むこと。個々のタスクはデータセットや下流タスクによって性能がばらつきが大きい。
• 学習中に真のラベルが入手できないという課題を克服するため、真のラベルとの整合性を推定する非教師付き代理指標としての疑似同型性測定を導入すること。
• 複数のSSLタスクの組み合わせを探索し、表現品質を共同で最適化する自動化フレームワークを開発すること。
• 高い疑似同型性が下流の性能を向上させることを実証的に検証し、その有効性を裏付けること。

提案手法

• 同型性の原則に基づき、真のラベルにアクセスできない状況でも、埋め込みから予測されたノードラベルと真のラベルの整合性を推定する疑似同型性測定を提案する。
• 疑似同型性スコアを、複数タスクSSLにおける最適なタスク重みの探索を導く代理目的関数として用い、真のラベルとの相互情報量の上界を向上させることの理論的裏付けを提示する。
• 高次元のSSLタスク組み合わせ空間を効率的に探索する2つの探索アルゴリズムを設計：AutoSSL-es（進化的戦略）およびAutoSSL-ds（微分可能探索）。
• AutoSSL-dsでは微分可能または勾配ベースの最適化プロセスを、AutoSSL-esでは集団ベースの進化的戦略を用いて、反復的にタスク重みを最適化する。
• DGI、Pairsim、PairDis、Clu、Parといった複数のSSLタスクを統合し、それぞれが異なる誘導的バイアス（例：局所的 vs. 全体的構造）を捉えるように設計する。
• 重み付きのSSL目的関数を用いてGNNを学習し、得られた埋め込みを下流のノードクラスタリングおよび分類タスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる自己教師あり学習タスクは、さまざまなグラフデータセットや下流タスクにおいてどのように性能を発揮するか？
• RQ2 ラベルが存在しない状況で、疑似同型性は学習済みノード表現の品質を信頼できる非教師付き代理指標として機能するか？
• RQ3 個々のタスクを用いる場合と比較して、複数のSSLタスクを自動的に探索するフレームワークが下流の性能を向上させることができるか？
• RQ4 異なる種類のグラフ（例：引用ネットワーク vs. 共購入ネットワーク）において、異なるSSLタスクの最適重みはどのように変化するか？

主な発見

• AutoSSLは、8つの実世界データセットにおいて、個々のSSLタスクで学習する場合と比較して、ノードクラスタリングおよび分類タスクの下流性能を顕著に向上させた。
• 疑似同型性測定と下流性能の間に強い相関関係が確認された：疑似同型性が高い埋め込みは、より高いクラスタリング（NMI）および分類（ACC）精度を達成した。
• 引用ネットワークおよび共同執筆ネットワーク（例：CoraFull、Physics、CS）では、DGIとParが一貫して高い重みが割り当てられ、これらが全体的および局所的構造パターンを捉える上で重要であることを示唆した。
• 共購入ネットワーク（例：Photo、Computers）では、ParとDGIの両方が重要であるが、Parの重みがより高かった。これは、これらのグラフにおいて局所構造がより重要である可能性を示唆した。
• Cluはすべてのデータセットで非常に低い重みが割り当てられ続けた。これは、元の特徴からの疑似ラベルが、選定された設定では劣悪な監督信号であることを示している。
• AutoSSLにおけるタスク重みの変化は、安定したデータセット固有の構成へ収束する傾向を示し、AutoSSL-esおよびAutoSSL-dsの両方が高い疑似同型性と下流精度を達成した。