[論文レビュー] Simple and Asymmetric Graph Contrastive Learning without Augmentations

Teng Xiao, Huaisheng Zhu+2 more|arXiv (Cornell University)|Oct 29, 2023

Advanced Graph Neural Networks被引用数 12

ひとこと要約

GraphACL は、拡張や同質性仮定に依存しないシンプルな非対称対比学習目的をグラフ向けに導入し、ワンホップ近傍の文脈とツーホップモノフィーを効果的に捉え、同質性と異質性の両方のグラフで優れた性能を発揮します。

ABSTRACT

Graph Contrastive Learning (GCL) has shown superior performance in representation learning in graph-structured data. Despite their success, most existing GCL methods rely on prefabricated graph augmentation and homophily assumptions. Thus, they fail to generalize well to heterophilic graphs where connected nodes may have different class labels and dissimilar features. In this paper, we study the problem of conducting contrastive learning on homophilic and heterophilic graphs. We find that we can achieve promising performance simply by considering an asymmetric view of the neighboring nodes. The resulting simple algorithm, Asymmetric Contrastive Learning for Graphs (GraphACL), is easy to implement and does not rely on graph augmentations and homophily assumptions. We provide theoretical and empirical evidence that GraphACL can capture one-hop local neighborhood information and two-hop monophily similarity, which are both important for modeling heterophilic graphs. Experimental results show that the simple GraphACL significantly outperforms state-of-the-art graph contrastive learning and self-supervised learning methods on homophilic and heterophilic graphs. The code of GraphACL is available at https://github.com/tengxiao1/GraphACL.

研究の動機と目的

• グラフ上の異なる同質性レベルに対して堅牢なノード表現学習を動機づける。
• エッジに基づくノード類似性を前提としない、シンプルで拡張なしの対比目的を設計する。
• 非対称な予測を通じてワンホップ近傍の文脈とツーホップモノフィーを捉え、識別性を向上させる。
• ワンホップ文脈とツーホップ類似性が保存されることを示す理論保証を提供する。
• 多様なグラフベンチマークを横断して強い実証性能を示す。

提案手法

• GraphACL を提案する。これは各ノードを同一性（ノード）と文脈（隣接）として扱う非対称対比フレームワークであり、予測子を用いる。
• デコップリングされたオンラインエンコーダ f_theta とターゲットエンコーダ f_xi を使用して、中心ノードの表現に対して非対称予測子 g_phi を適用し隣接表現を予測する。
• 中心ノードの予測された文脈から隣接表現を予測する非対称損失 L_A を最適化し、直接の v-u 相似性の強制を回避する。
• 表現崩壊を防ぐための一様性正則化 L_UNI を含め、ノード表現間の多様性を奨励する。
• L_PRE（近隣予測）と L_UNI を組み合わせて安定化した目的関数 L_A を得る。これにより拡張なしでも健全な学習を可能にする。
• 理論的には次の結果を示す： (i) ノード表現とワンホップ近傍文脈との相互情報の最大化、(ii) 非対称的再構成を通じたツーホップモノフィーの暗黙的整列、(iii) 下流タスクに関連するツーホップ同質性に関する一般化境界。

実験結果

リサーチクエスチョン

• RQ1 単純で拡張なしの対比目的が、同質性・異質性の両方のグラフでノード表現を効果的に学習できるか。
• RQ2 非対称な近傍信号の予測が、拡張や同質性仮定に依存せず、ワンホップ文脈とツーホップモノフィーを捉えることを可能にするか。
• RQ3 GraphACL の目的とワンホップ文脈との相互情報、およびツーホップ類似性との理論的保証が、下流タスクにどのような影響を与えるか。

主な発見

• GraphACL は 15 個のグラフベンチマークで最先端の性能を達成し、拡張ベースの手法が苦戦する異質性グラフでも強い向上を示す。
• いくつかのデータセットで、GraphACL は 15 データセット中 14 個で最も高い性能を示し、グラフの異質性に対する頑健性を示している。
• ローマンで 4.3%、コーネルで 11.6%、テキサスで 14.4%、クロコダイルで 5.1%、Arxiv-year で 3.1% の顕著な改善。
• アブレーション研究は、非対称エンコーダ構成要素と隣接予測目的が異質性グラフで重要であることを示し、全体モデルは様々な設定で最良の性能を提供する。
• このアプローチはグラフ拡張に依存せず、同質性を前提としない。従来の GCL 手法が拡張や局所平滑性に依存するのとは対照的である。