[論文レビュー] Graph Contrastive Learning Automated

Yuning You, Tianlong Chen+2 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Graph Neural Networks被引用数 93

ひとこと要約

JOAOは、グラフコントラスト学習のデータ拡張を自動的に選択するための2層最適化フレームワークを導入し、GraphCLの新しいグラフへの適応を自動・適応・動的にする。JOAOv2は頑健性向上のため拡張認識プロジェクションヘッドを追加する。

ABSTRACT

Self-supervised learning on graph-structured data has drawn recent interest for learning generalizable, transferable and robust representations from unlabeled graphs. Among many, graph contrastive learning (GraphCL) has emerged with promising representation learning performance. Unfortunately, unlike its counterpart on image data, the effectiveness of GraphCL hinges on ad-hoc data augmentations, which have to be manually picked per dataset, by either rules of thumb or trial-and-errors, owing to the diverse nature of graph data. That significantly limits the more general applicability of GraphCL. Aiming to fill in this crucial gap, this paper proposes a unified bi-level optimization framework to automatically, adaptively and dynamically select data augmentations when performing GraphCL on specific graph data. The general framework, dubbed JOint Augmentation Optimization (JOAO), is instantiated as min-max optimization. The selections of augmentations made by JOAO are shown to be in general aligned with previous "best practices" observed from handcrafted tuning: yet now being automated, more flexible and versatile. Moreover, we propose a new augmentation-aware projection head mechanism, which will route output features through different projection heads corresponding to different augmentations chosen at each training step. Extensive experiments demonstrate that JOAO performs on par with or sometimes better than the state-of-the-art competitors including GraphCL, on multiple graph datasets of various scales and types, yet without resorting to any laborious dataset-specific tuning on augmentation selection. We release the code at https://github.com/Shen-Lab/GraphCL_Automated.

研究の動機と目的

• グラフのヘテロゲンエイティを理由に、グラフコントラスト学習におけるデータセット特異的・自動拡張選択の必要性を動機付ける。
• JOAOという統一的な2層最適化フレームワークを提案し、GraphCLの拡張ペアを自動的かつ適応的に選択する。
• JOAOは、手動の拡張チューニングを用いた最先端GraphCLと同等またはそれを上回る性能を、多様なデータセットで示す。
• 動的な拡張による分布シフトを緩和するために拡張認識プロジェクションヘッドを導入する。
• JOAOの選択が、ラベル付き検証データを不要としつつ、従来観察されてきたベストプラクティスと整合することを示す。

提案手法

• JOAOを、上位レベルがGraphCLの損失を最小化し、下位レベルが拡張ペア分布を最適化する2層最適化として定式化する。
• 多様な拡張を奨励する事前分布と、事前分布からの乖離を制御する距離項を持つミンマックス問題としてJOAOを具体化する。
• ネットワークパラメータの更新と拡張分布の更新を交互に行う勾配降下法で解く。
• トレーニング中に特徴を適切に経路化するために、拡張タイプごとに1つの投影ヘッドを持つ新しい拡張認識プロジェクションヘッド機構を導入する。
• JOAOv2は拡張認識ヘッドをJOAOの目的関数に組み込みつつ、拡張の異なる歪みに対する頑健性を向上させ、JOAOの最適化構造を維持する。

実験結果

リサーチクエスチョン

• RQ1 JOAOはラベル付き検証データなしでGraphCLの効果的な拡張方針を自動的に発見できるか。
• RQ2 JOAOとJOAOv2は、多様なグラフデータセットに対して、手動で調整したGraphCLやヒューリスティック手法と同等かそれ以上の性能を達成するか。
• RQ3 JOAOによって生成される拡張選択は、手動チューニングから観察される既知のベストプラクティスと一致するか。
• RQ4 拡張認識プロジェクションヘッドは、トレーニング時の動的拡張による分布シフトを緩和するか。
• RQ5 JOAOフレームワークは、GraphCL以外の他のグラフ自己教師あり学習フレームワークにも適用可能か。

主な発見

• JOAOは、データセット特異的な拡張チューニングを要さず、複数のグラフデータセットで最先端手法と同等以上の性能を達成する。
• JOAOの選択は概ね以前のベストプラクティスと一致しており、自動拡張の妥当な選択を示唆している。
• 拡張認識プロジェクションヘッドを備えたJOAOv2は、特定のデータセットと拡張強度でJOAOよりもさらに改善をもたらす。
• このフレームワークは柔軟でGraphCLに限定されず、他のグラフコントラスト学習アプローチと統合可能である。
• JOAOは、自動拡張最適化が、ラベル付きダウンストリーム検証を必要とせず、多様なグラフデータへスケールできることを示す。