[論文レビュー] Towards Graph Contrastive Learning: A Survey and Beyond

Wei Ju, Yifan Wang+11 more|arXiv (Cornell University)|May 20, 2024

Advanced Graph Neural Networks被引用数 22

ひとこと要約

この論文は Graph Contrastive Learning (GCL) の専用レビューを提供し、その核心原理、データ効率学習への拡張、実世界の応用、将来の方向性を詳述する。

ABSTRACT

In recent years, deep learning on graphs has achieved remarkable success in various domains. However, the reliance on annotated graph data remains a significant bottleneck due to its prohibitive cost and time-intensive nature. To address this challenge, self-supervised learning (SSL) on graphs has gained increasing attention and has made significant progress. SSL enables machine learning models to produce informative representations from unlabeled graph data, reducing the reliance on expensive labeled data. While SSL on graphs has witnessed widespread adoption, one critical component, Graph Contrastive Learning (GCL), has not been thoroughly investigated in the existing literature. Thus, this survey aims to fill this gap by offering a dedicated survey on GCL. We provide a comprehensive overview of the fundamental principles of GCL, including data augmentation strategies, contrastive modes, and contrastive optimization objectives. Furthermore, we explore the extensions of GCL to other aspects of data-efficient graph learning, such as weakly supervised learning, transfer learning, and related scenarios. We also discuss practical applications spanning domains such as drug discovery, genomics analysis, recommender systems, and finally outline the challenges and potential future directions in this field.

研究の動機と目的

• グラフ自己教師あり学習における Graph Contrastive Learning (GCL) の基本原理を特定し、明確化する。
• データ拡張、対照モード、最適化目的といった GCL の構成要素を体系的に分類する。
• 弱教師あり学習や転移学習を含むデータ効率の良い設定への GCL の拡張を探求する。
• 薬物発見、ゲノミクス、レコメンダーシステムなど、さまざまな領域における GCL の実世界応用を強調する。
• GCL のさらなる研究を導く課題と将来の方向性を概説する。

提案手法

• GCL で用いられる拡張戦略を要約する。ルールベースと学習ベースの拡張の双方を含む。
• さまざまな対照モード（スケール内、スケール間、局所-グローバルなど）を説明し、異なるデータ規模でどのように機能するかを示す。
• InfoNCE ベースの対照的な最適化目的および非対照的アプローチを含む、対照的な最適化目的をレビューする。
• 弱教師あり学習や転移学習など、データ効率の良い学習への拡張について議論する。
• さまざまな領域で GCL を実装する際の実世界の応用と実践的な考慮事項を提示する。

実験結果

リサーチクエスチョン

• RQ1 グラフ対照学習を定義する核となる構成要素（拡張、対照モード、目的）は何か？
• RQ2 GCL を弱教師あり学習や転移学習のようなデータ効率設定へどのように拡張できるか？
• RQ3 薬物発見、ゲノミクス、レコメンダーシステムなどの分野での GCL の実用的応用は何か？
• RQ4 GCL 研究の主な課題と将来の方向性は何か？

主な発見

• GCL は急速に成長している領域で、独自の設計選択に焦点を当てた専用のレビューが必要である。
• データ拡張、対照モード、最適化目的が、GCL の性能を左右する中心的なレバーである。
• GCL は弱教師あり学習および転移学習の文脈に拡張でき、グラフ上のデータ効率の高い学習を拡大する。
• GCL の応用は薬物発見、ゲノミクス、レコメンダーシステム、ソーシャルネットワーク、交通予測まで及ぶ。
• この調査は課題を概説し、GCL を進展させるための将来の研究方向を提案する。