[論文レビュー] Graph Contrastive Learning with Augmentations

Yuning You, Tianlong Chen+4 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Graph Neural Networks参考文献 71被引用数 863

ひとこと要約

GraphCL はグラフレベルのデータ拡張と GNN の事前学習のための対照学習フレームワークを導入し、複数のグラフデータセットで半教師あり、教師なし、転移学習、および対抗耐性において最先端の結果を達成する。

ABSTRACT

Generalizable, transferrable, and robust representation learning on graph-structured data remains a challenge for current graph neural networks (GNNs). Unlike what has been developed for convolutional neural networks (CNNs) for image data, self-supervised learning and pre-training are less explored for GNNs. In this paper, we propose a graph contrastive learning (GraphCL) framework for learning unsupervised representations of graph data. We first design four types of graph augmentations to incorporate various priors. We then systematically study the impact of various combinations of graph augmentations on multiple datasets, in four different settings: semi-supervised, unsupervised, and transfer learning as well as adversarial attacks. The results show that, even without tuning augmentation extents nor using sophisticated GNN architectures, our GraphCL framework can produce graph representations of similar or better generalizability, transferrability, and robustness compared to state-of-the-art methods. We also investigate the impact of parameterized graph augmentation extents and patterns, and observe further performance gains in preliminary experiments. Our codes are available at https://github.com/Shen-Lab/GraphCL.

研究の動機と目的

• グラフニューラルネットワークの事前学習を動機づけ、さまざまなグラフタイプ間の一般化と転送を改善する。
• 領域事前情報を符号化し、堅牢な対照学習を可能にする4つのグラフデータ拡張を設計する。
• GraphCL を提案し、拡張ビュー間の整合性を最大化することで不変なグラフ表現を学習する。
• データセットとタスク設定全体で拡張の効果を体系的に研究し、実務的な利用を guid する。

提案手法

• 4つのグラフデータ拡張を提案する：ノードの削除、エッジの摂動、属性のマスキング、サブグラフのサンプリング。
• 共有された GNN エンコーダ f と射影ヘッド g を用いて、拡張されたグラフを表現へ写像する。
• NT-Xent コントラスト損失を適用し、同じグラフの2つの拡張ビュー間の整合性を最大化する。
• GraphCL は拡張グラフの潜在表現間の相互情報最大化目的に対応していることを示す。
• GraphCL は一般的なフレームワークの下で、広範なグラフ対照法のファミリを統一できることを示す。

実験結果

リサーチクエスチョン

• RQ1 異なるグラフ拡張タイプとその設定がグラフの対照学習に与える影響はどうなるか。
• RQ2 GraphCL フレームワークは GNN の既存の事前学習手法より一般化と転送性を高められるか。
• RQ3 拡張の強さとパターンが下流の性能にグラフ領域（生物化学的、社会的、画像ベースのグラフ）でどのように影響するか。
• RQ4 GraphCL は GNN の敵対的摂動に対する頑健性を改善するか。

主な発見

• グラフ拡張は重要で、拡張なしではグラフ対照学習はスクラッチからの学習と比較して有益でない。
• 拡張を組み合わせる（異なるタイプ）は、単一タイプを用いるより一般的にパフォーマンスを向上させる。
• エッジの摂動は社会的ネットワークには有効だが、一部の生体分子データセットでは害になることがあり、ドメイン固有の priors が重要であることを示す。
• 属性マスキングとノード削除/サブグラフ拡張は一貫した利益をもたらし、密なグラフでのハブのマスキングなどのパターンが結果をさらに改善する。
• GraphCL は複数のグラフ分類ベンチマークで半教師あり、教師なし表現学習および転送学習において最先端の性能を達成する。
• GraphCL はまた、スクラッチからの学習と比較して敵対的攻撃に対する頑健性を高める。