[論文レビュー] Deep Graph Contrastive Representation Learning
GRACEは2つの破損したグラフビュー間でノード表現を対比することにより教師なしのノード埋め込みを学習し、既存手法を上回り、転導的タスクでは監視付きアプローチにも匹敵する。
Graph representation learning nowadays becomes fundamental in analyzing graph-structured data. Inspired by recent success of contrastive methods, in this paper, we propose a novel framework for unsupervised graph representation learning by leveraging a contrastive objective at the node level. Specifically, we generate two graph views by corruption and learn node representations by maximizing the agreement of node representations in these two views. To provide diverse node contexts for the contrastive objective, we propose a hybrid scheme for generating graph views on both structure and attribute levels. Besides, we provide theoretical justification behind our motivation from two perspectives, mutual information and the classical triplet loss. We perform empirical experiments on both transductive and inductive learning tasks using a variety of real-world datasets. Experimental experiments demonstrate that despite its simplicity, our proposed method consistently outperforms existing state-of-the-art methods by large margins. Moreover, our unsupervised method even surpasses its supervised counterparts on transductive tasks, demonstrating its great potential in real-world applications.
研究の動機と目的
- グラフ近接再構成や推定不可能リードアウト制約に依存せず、教師なしのグラフ表現学習を動機づける。
- 2つの破損したグラフビュー間の合意を最大化するノードレベルの対比フレームワークを提案する。
- トポロジーと属性の腐敗（エッジ削除と特徴量マスキング）によるデュアルグラフビュー生成を開発する。
- 相互情報（InfoMax）およびトリプレット損失への理論的な関連を提供する。
- 複数のデータセットにわたり、転導的および帰納的ノード分類で実証的に検証する。
提案手法
- 2つの破損したグラフビューからノード埋め込みを生成するためにGNNエンコーダを用いる。
- エッジを削除して構造を破壊する（構造腐敗）と、特徴をマスキングして属性を破壊する（属性腐敗）によって2つのビューを生成する。
- ビュー間で対応するノード埋め込みを引き寄せ、他のすべてのノード埋め込みを遠ざける対比損失を適用する。
- ノードペア間の識別スコアを得るために二層のMLP射影gを使用する。
- 全ノードに渡って平均対比目的関数を最適化し、明示的なグラフレベルのリードアウトには依存しない。
実験結果
リサーチクエスチョン
- RQ12つのグラフビューにおけるノードレベルの対比学習は強力な教師なしノード表現を生み出せるか？
- RQ2デュアル腐敗戦略（構造の破壊と特徴のマスキング）は学習を改善する多様な文脈を提供するか？
- RQ3GRACEは相互情報最大化とトリプレット損失フレームワークとどのように関連するか？
- RQ4既存の教師なしおよび教師あり手法と比較して、標準的な転導的および帰納的グラフデータセットに対してGRACEはどの程度性能を発揮するか？
主な発見
| 手法 | トレーニングデータ | Cora | Citeseer | Pubmed | DBLP | PPI | |
|---|---|---|---|---|---|---|---|
| 生の特徴量 | X | 64.8 | 64.6 | 84.8 | 71.6 | 58.5 | 42.2 |
| node2vec | A | 74.8 | 52.3 | 80.3 | 78.8 | — | — |
| DeepWalk | A | 75.7 | 50.5 | 80.5 | 75.9 | 32.4 | — |
| DeepWalk + features | X,A | 73.1 | 47.6 | 83.7 | 78.1 | 69.1 | — |
| GAE | X,A | 76.9 | 60.6 | 82.9 | 81.2 | — | — |
| VGAE | X,A | 78.9 | 61.2 | 83.0 | 81.7 | — | — |
| DGI | X,A | 82.6 ±0.4 | 68.8 ±0.7 | 86.0 ±0.1 | 83.2 ±0.1 | 94.0 ±0.1 | 63.8 ±0.2 |
| GRACE | X,A | 83.3 ±0.4 | 72.1 ±0.5 | 86.7 ±0.1 | 84.2 ±0.1 | 94.2 ±0.0 | 66.2 ±0.1 |
| SGC | X,A,Y | 80.6 | 69.1 | 84.8 | 81.7 | — | — |
| GCN | X,A,Y | 82.8 | 72.0 | 84.9 | 82.7 | — | — |
| — | — | — | — | — | — | — | — |
| Inductive datasets | |||||||
| DeepWalk | A | — | — | — | — | 32.4 | — |
| DeepWalk + features | X,A | 69.1 | — | — | — | — | — |
| GraphSAGE-GCN | X,A | 90.8 | 46.5 | — | — | — | — |
| GraphSAGE-mean | X,A | 89.7 | 48.6 | — | — | — | — |
| GraphSAGE-LSTM | X,A | 90.7 | 48.2 | — | — | — | — |
| GraphSAGE-pool | X,A | 89.2 | 50.2 | — | — | — | — |
| DGI | X,A | 94.0 ±0.1 | 63.8 ±0.2 | — | — | 94.0 ±0.1 | 63.8 ±0.2 |
| GRACE | X,A | 94.2 ±0.0 | 66.2 ±0.1 | — | — | 94.2 ±0.0 | 66.2 ±0.1 |
| FastGCN | X,A,Y | 93.7 | — | — | — | — | — |
| GaAN-mean | X,A,Y | 95.8 ±0.1 | 96.9 ±0.2 | — | — | — | — |
- GRACEは6つのデータセットで教師なし手法の中で最先端または競合的な結果を達成する。
- 転導タスクでは、GRACEはDGIおよび他のベースラインを上回り、いくつかのデータセットで監視付きモデル（例: GCN, SGC）に匹敵する。
- 帰納タスクでは、GRACEはほとんどのベースラインを上回り、RedditおよびPPIデータセットで監視付き性能に近づく、あるいは一致する。
- 理論分析は、GRACEが2つのビュー間の入力特徴とノード埋め込みの間の相互情報の下限を最大化し、トリプレット損失と関連することを示す。
- GRACEはスパースな特徴に対して頑健であり、トポロジーと特徴の両方の腐敗から恩恵を受ける。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。