[論文レビュー] InfoGCL: Information-Aware Graph Contrastive Learning

Dongkuan Xu, Wei Cheng+3 more|arXiv (Cornell University)|Oct 28, 2021

Advanced Graph Neural Networks参考文献 44被引用数 32

ひとこと要約

InfoGCL は情報理論に基づくグラフ対比学習の枠組みで、ビュー拡張、ビューエンコーディング、表現対比を分離し、従来の手法を統合してグラフとノード分類の性能を高める。

ABSTRACT

Various graph contrastive learning models have been proposed to improve the performance of learning tasks on graph datasets in recent years. While effective and prevalent, these models are usually carefully customized. In particular, although all recent researches create two contrastive views, they differ greatly in view augmentations, architectures, and objectives. It remains an open question how to build your graph contrastive learning model from scratch for particular graph learning tasks and datasets. In this work, we aim to fill this gap by studying how graph information is transformed and transferred during the contrastive learning process and proposing an information-aware graph contrastive learning framework called InfoGCL. The key point of this framework is to follow the Information Bottleneck principle to reduce the mutual information between contrastive parts while keeping task-relevant information intact at both the levels of the individual module and the entire framework so that the information loss during graph representation learning can be minimized. We show for the first time that all recent graph contrastive learning methods can be unified by our framework. We empirically validate our theoretical analysis on both node and graph classification benchmark datasets, and demonstrate that our algorithm significantly outperforms the state-of-the-arts.

研究の動機と目的

• グラフ上で対比学習を行う際に、情報がどのように変換・転送されるかを動機づける。
• モジュールおよびフレームワークレベルで、情報の損失を最小化しつつタスクに関連する情報を保持する情報理論的枠組み（InfoGCL）を提案する。
• 共通の原理の下で既存のグラフ対比学習手法を統一し、モジュール設計の実践的ガイドラインを提供する。
• グラフ対比学習におけるネガティブサンプルの役割を分析し、ネガティブが有益な場合を評価する。

提案手法

• グラフ対比学習を三つの段階（ビュー拡張、ビューエンコード、表現対比）に分解する。
• 各段階を情報ボトルネックの原理に基づいて基盤付けし、ビュー、エンコーダ、対比モードの最適性に関する推論を導く。
• 最適な拡張ビューを定義する（I(v_i; v_j) を最小化しつつ I(v_i; y) = I(v_j; y) = I(G; y) を維持）。
• 最適なビューエンコーダを定義する（I(f_i(v_i); v_i) を最小化しつつ I(f_i(v_i); v_j) = I(v_i; v_j) を満たす）。
• 最適な対比モードを定義する（保有するタスク関連情報を最大化するよう c_i, c_j を選択する、相互情報ベースの基準による）。
• さまざまなグラフビュー拡張（ノード削除、エッジ摂動、属性マスキング、サブグラフサンプリング）と対比モード（グローバル-グローバル、ローカル-グローバル、ローカル-ローカル、マルチスケール、ハイブリッド）を評価する。
• ネガティブサンプルが必要かを、Negatives のない SimSiam 風の損失を採用して検討し、ネガティブを含む変種と比較する。

実験結果

リサーチクエスチョン

• RQ1 拡張ビューをどのように選択すれば、タスク関連情報を最大化し、非タスク情報の共有を最小化できるか。
• RQ2 エンコード後に共有されたタスク関連情報を最も効果的に保持するエンコーダはどれか。
• RQ3 最適なビューとエンコーダを前提としたとき、どの対比モードが下流タスク情報を最もよく保持するか。
• RQ4 グラフ対比学習におけるネガティブサンプルは、タスクやデータセット全体で性能に実質的な影響を与えるか。

主な発見

Method	MUTAG	PTC-MR	IMDB-B	IMDB-M	NCI1	COLLAB
Kernel Approaches – SP	85.2 ± 2.4	58.2 ± 2.4	55.6 ± 0.2	38.0 ± 0.3	73.5 ± 0.1	-
Kernel Approaches – GK	81.7 ± 2.1	57.3 ± 1.4	65.9 ± 1.0	43.9 ± 0.4	66.0 ± 0.1	72.8 ± 0.3
Kernel Approaches – WL	80.7 ± 3.0	58.0 ± 0.5	72.3 ± 3.4	47.0 ± 0.5	80.0 ± 0.5	78.9 ± 1.9
Kernel Approaches – DGK	87.4 ± 2.7	60.1 ± 2.6	67.0 ± 0.6	44.6 ± 0.5	80.3 ± 0.5	73.1 ± 0.3
Kernel Approaches – MLG	87.9 ± 1.6	63.3 ± 1.5	66.6 ± 0.3	41.2 ± 0.0	80.8 ± 1.3	-
Supervised Approaches – GraphSAGE	85.1 ± 7.6	63.9 ± 7.7	72.3 ± 5.3	50.9 ± 2.2	77.7 ± 1.5	68.3 ± 4.2
Supervised Approaches – GCN	85.6 ± 5.8	64.2 ± 4.3	74.0 ± 3.4	51.9 ± 3.8	80.2 ± 2.0	79.0 ± 1.8
Supervised Approaches – GIN-0	89.4 ± 5.6	64.6 ± 7.0	75.1 ± 5.1	52.3 ± 2.8	82.7 ± 1.7	80.2 ± 1.9
Supervised Approaches – GIN-e	89.0 ± 6.0	63.7 ± 8.2	74.3 ± 5.1	52.1 ± 3.6	82.7 ± 1.6	80.1 ± 1.9
Supervised Approaches – GAT	89.4 ± 6.1	66.7 ± 5.1	70.5 ± 2.3	47.8 ± 3.1	66.6 ± 2.2	67.4 ± 2.9
Unsupervised Approaches – RandomWalk	83.7 ± 1.5	57.9 ± 1.3	50.7 ± 0.3	34.7 ± 0.2	64.3 ± 0.3	-
Unsupervised Approaches – node2vec	72.6 ± 10.2	58.6 ± 8.0	50.2 ± 0.9	36.0 ± 0.7	54.9 ± 1.6	56.1 ± 0.2
Unsupervised Approaches – sub2vec	61.1 ± 15.8	60.0 ± 6.4	55.3 ± 1.5	36.7 ± 0.8	52.8 ± 1.5	-
Unsupervised Approaches – graph2vec	83.2 ± 9.6	60.2 ± 6.9	71.1 ± 0.5	50.4 ± 0.9	75.4 ± 1.2	-
Unsupervised Approaches – InfoGraph	89.0 ± 1.1	61.7 ± 1.4	73.0 ± 0.9	49.7 ± 0.5	76.2 ± 1.4	70.7 ± 1.1
Unsupervised Approaches – GraphCL	86.8 ± 1.3	61.3 ± 2.1	71.1 ± 0.4	49.2 ± 0.6	77.9 ± 0.4	71.4 ± 1.2
Unsupervised Approaches – mvgrl	89.7 ± 1.1	62.5 ± 1.7	74.2 ± 0.7	51.2 ± 0.5	77.0 ± 0.8	76.0 ± 1.2
InfoGCL (reported)	91.2 ± 1.3	63.5 ± 1.5	75.1 ± 0.9	51.4 ± 0.8	80.2 ± 0.6	80.0 ± 1.3

• InfoGCL はノード分類およびグラフ分類のベンチマークで最先端と競合する性能を達成している。
• グラフ分類では、InfoGCL は先行する無監督手法や競合する監督付き手法と同等または優れる性能を示し、例として MUTAG で 91.2%、Citeseer で 63.5%、Pubmed で 75.1%（表2の例）を達成した。
• InfoGCL は複数のデータセットを跨いで多くのベースラインを上回り、グラフ分類タスクで顕著な改善を示す（設定によっては相対的に約5.2%の改善）。
• ネガティブサンプルは必須ではない場合が多い; ネガティブを除去しても複数のグラフデータセットで性能を維持できるが、特に Cora/Citeseer/Pubmed のように疎なグラフではノードレベルのタスクでわずかに悪化する可能性がある（表4）。
• 統一的な視点が可能である：最新のグラフ対比学習法の多くは、InfoGCL の三段階フレームワークにおける情報ボトルネックに導かれたインスタンスとして解釈できる。