[論文レビュー] Debiased Graph Contrastive Learning.

Jun Xia, Lirong Wu+3 more|arXiv (Cornell University)|Oct 5, 2021

Advanced Graph Neural Networks参考文献 37被引用数 7

ひとこと要約

本稿では、グラフ対照学習における誤ったネガティブサンプル（アーキテクチャと同じクラスに属するネガティブサンプル）を特定し、それらの影響を軽減する手法であるDebiased Graph Contrastive Learning (DGCL) を提案する。各ネガティブサンプルが真にネガティブである確率を推定することで、DGCL-weight および DGCL-mix の2つのスキームを用いて性能を向上させ、複数のベンチマークで最先端またはそれ以上の結果を達成しており、一部のベンチマークでは教師あり手法をも上回っている。

ABSTRACT

Contrastive learning (CL) has emerged as a dominant technique for unsupervised representation learning which embeds augmented versions of the anchor close to each other (positive samples) and pushes the embeddings of other samples (negative samples) apart. As revealed in recent works, CL can benefit from hard negative samples (negative samples that are difficult to distinguish from the anchor). However, we observe minor improvement or even performance drop when we adopt existing hard negative mining techniques in Graph Contrastive Learning (GCL). We find that many hard negative samples similar to anchor point are false negative ones (samples from the same class as anchor point) in GCL, which is different from CL in computer vision and will lead to unsatisfactory performance of existing hard negative mining techniques in GCL. To eliminate this bias, we propose Debiased Graph Contrastive Learning (DGCL), a novel and effective method to estimate the probability whether each negative sample is true or not. With this probability, we devise two schemes (i.e., DGCL-weight and DGCL-mix) to boost the performance of GCL. Empirically, DGCL outperforms or matches previous unsupervised state-of-the-art results on several benchmarks and even exceeds the performance of supervised ones.

研究の動機と目的

• 既存のハードネガティブサンプル抽出手法を用いた場合に発生するグラフ対照学習（GCL）の性能低下を是正すること。
• アーキテクチャと同じクラスに属するが誤ってネガティブとされたサンプル（誤ったネガティブ）が標準的なハードネガティブサンプル抽出を混乱させる問題を特定・是正すること。
• ネガティブサンプルが真にネガティブである確率を推定することで、GCLの性能を向上させること。
• デバイアス除去されたネガティブサンプルを活用する2つの有効なスキーム、DGCL-weight および DGCL-mix を開発すること。
• 教師なしグラフ表現学習において最先端またはそれ以上の性能を達成すること。一部のベンチマークでは教師ありベースラインをも上回ること。

提案手法

• 各ネガティブサンプルが真にネガティブである確率を推定するデバイアス除去機構を提案。学習可能なコンponentを用いて、誤ったネガティブと真のネガティブを区別する。
• DGCL-weight を導入。各ネガティブサンプルの真のネガティブである確率に基づいて、ネガティブサンプルに重みを付けることで対照学習を改善する。
• DGCL-mix を開発。アーキテクチャと複数のネガティブサンプルを、真のネガティブ確率に基づくアテンション型重み付けで組み合わせる。
• グラフニューラルネットワークを用いてノード表現を符号化し、ノードマスキングやエッジドロップなどのデータ拡張を適用して、ポジティブおよびネガティブなビューを生成する。
• デバイアス除去されたネガティブサンプル戦略を用いた対照損失を活用し、表現空間を最適化することで、誤ったネガティブの影響を最小限に抑える。
• 自己教師あり学習の目的関数を採用。同一ノードの拡張ビュー（ポジティブペア）を近づけ、真のネガティブペアを遠ざけるように促進する。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存のハードネガティブサンプル抽出手法は、コンピュータビジョンと比較してグラフ対照学習（GCL）では性能を発揮しないのか？
• RQ2 標準的なハードネガティブサンプル抽出をGCLに適用した際に、特に誤ったネガティブサンプルの影響によって性能が低下する理由は何か？
• RQ3 ネガティブサンプルが真にネガティブである確率を推定することで、GCLの性能を向上させることは可能か？
• RQ4 どのようにすれば、デバイアス除去されたネガティブサンプルを対照学習に効果的に統合し、性能を向上させられるか？
• RQ5 GCLにおけるデバイアス除去サンプルは、教師あり手法の性能を達成または上回ることができるか？

主な発見

• DGCLは、複数のグラフベンチマークデータセットで顕著な性能向上を達成し、以前の教師なしSOTA手法を上回っている。
• 提案されたDGCL-weight および DGCL-mix スキームは、GCLにおける誤ったネガティブの悪影響を効果的に低減している。
• DGCLは一部のベンチマークで教師ありベースラインを上回る性能を達成しており、優れた一般化性能を示している。
• 本手法は、GCLにおける多くのハードネガティブがグラフ構造の影響により誤ったネガティブであることが特定され、標準的手法の失敗を説明している。
• DGCLの確率推定コンponentは、真のネガティブと誤ったネガティブを効果的に区別できており、より効果的な対照学習を可能にしている。
• 実験的結果から、複数のデータセットで一貫した向上が確認され、グラフ対照学習におけるデバイアス除去の有効性が裏付けられている。