[論文レビュー] GPS: Graph Contrastive Learning via Multi-scale Augmented Views from Adversarial Pooling

Ju Wei, Yiyang Gu+6 more|arXiv (Cornell University)|Jan 29, 2024

Data-Driven Disease Surveillance被引用数 6

ひとこと要約

GPSは学習可能なグラフプーリングを活用して、グラフ対比学習のためのマルチスケールな正のビューを自動生成し、対立的かつ一貫性ベースの目的で教師なしのグラフ表現を改善する。

ABSTRACT

Self-supervised graph representation learning has recently shown considerable promise in a range of fields, including bioinformatics and social networks. A large number of graph contrastive learning approaches have shown promising performance for representation learning on graphs, which train models by maximizing agreement between original graphs and their augmented views (i.e., positive views). Unfortunately, these methods usually involve pre-defined augmentation strategies based on the knowledge of human experts. Moreover, these strategies may fail to generate challenging positive views to provide sufficient supervision signals. In this paper, we present a novel approach named Graph Pooling ContraSt (GPS) to address these issues. Motivated by the fact that graph pooling can adaptively coarsen the graph with the removal of redundancy, we rethink graph pooling and leverage it to automatically generate multi-scale positive views with varying emphasis on providing challenging positives and preserving semantics, i.e., strongly-augmented view and weakly-augmented view. Then, we incorporate both views into a joint contrastive learning framework with similarity learning and consistency learning, where our pooling module is adversarially trained with respect to the encoder for adversarial robustness. Experiments on twelve datasets on both graph classification and transfer learning tasks verify the superiority of the proposed method over its counterparts.

研究の動機と目的

• グラフ対比学習のための手動による拡張なしでより良い正ビュー生成を動機づける。
• 学習可能なグラフプーリングを用いたデュアルビュー（強く拡張されたビューと弱く拡張されたビュー）フレームワークを提案する。
• 拡張の頑健性を向上させるために敵対的学習を導入する。
• 弱いビュー上の類似性学習をソフトな一貫性学習と組み合わせる。
• GPSをグラフ分類と多様なデータセットにわたる転移学習で経験的に検証する。

提案手法

• グラフエンコーダとして2層のGINを使用し、グラフレベル表現を得るためのリードアウトを用いる。
• 強い拡張と弱い拡張の2つの学習可能なグラフプーリングモジュールを導入してマルチスケールビューを作成する：TopKベースのプーリングとクラスタベースのプーリング。
• rho1（強）およびrho2（弱）のプーリング比を用いて2つの拡張グラフを生成し、補完的なビューを提供する。
• 弱拡張プーラーをエンコーダに対してミニマックス目的で訓練する敵対的学習を適用する。
• 弱いビュー上の類似性学習を predictor と target encoder（BYOL風設定）を用いて実装する。
• 強いビューの一貫性学習を実装し、KLダイバージェンスを用いてバッチ全体の類似性の分布を整合させる（ソフト制約）。
• エンコーダに関して最適化する一方で、プーリングモジュールを敵対的に更新（勾配上昇）し、損失を最小化するようエンコーダを更新する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なマルチスケールグラフプーリングは、グラフ対比学習においてデータセット適応型の有効な正ビューを提供できるか。
• RQ2 強い拡張ビューと弱い拡張ビューは相補的な意味情報を捉え、組み合わせることで表現を改善するか。
• RQ3 プーリングモジュールの敵対的訓練は、教師なし設定におけるグラフ表現の頑健性と性能を改善するか。
• RQ4 GPSは最先端の教師なしベースラインと比較して、グラフ分類および転移学習タスクでどう機能するか。

主な発見

Method	MUTAG	PROTEINS	NCI1	IMDB-B	IMDB-M	REDDIT-M-5K
GPS-TopK (Ours)	89.9 ± 0.7	75.1 ± 0.4	79.1 ± 0.6	73.5 ± 0.7	51.4 ± 0.6	56.3 ± 0.2
GPS-Cluster (Ours)	89.5 ± 1.2	74.7 ± 0.5	79.5 ± 0.4	73.8 ± 1.1	51.7 ± 0.5	55.9 ± 0.4

• GPSはグラフ分類と転移学習の12データセットを通じて、教師なしベースラインと比較して優れた性能を達成する。
• GPS-TopKおよびGPS-Clusterのバリアントはデータセット全体でトップクラスまたは競争力のある結果を達成し、拡張ビューの学習可能なプーリングを検証する。
• アブレーション研究は、弱い拡張と強い拡張、および敵対的訓練の双方が性能向上に寄与することを示す。
• ソフトな一貫性学習（KLベース）は強い拡張ビューの利用を改善し、意味構造を保持する。
• グラフプーリング比は一般にロバストで、rhoの選択に対する感度は高くない。
• クラスタリングベースの評価は、GPSが複数のベンチマークで強力なグラフレベル識別力を発揮することを示す。