[論文レビュー] Localized Contrastive Learning on Graphs

Hengrui Zhang, Qitian Wu+4 more|arXiv (Cornell University)|Dec 8, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

この論文は、データ拡張に依存しない代わりに1次近傍ノードをポジティブ例として使用し、2次コストのInfoNCE損失を線形時間のカーネル化された代替損失に置き換えることで、グラフニューラルネットワーク向けのシンプルでありながら効果的な対照学習手法Local-GCLを提案する。この手法は7つのノード分類ベンチマークのうち6つで最先端性能を達成し、Ogbn-Arxivでも競争力ある結果を示し、訓練が著しく高速である。これは、同型的および異型的グラフにおいても、効率性と頑健性を示している。

ABSTRACT

Contrastive learning methods based on InfoNCE loss are popular in node representation learning tasks on graph-structured data. However, its reliance on data augmentation and its quadratic computational complexity might lead to inconsistency and inefficiency problems. To mitigate these limitations, in this paper, we introduce a simple yet effective contrastive model named Localized Graph Contrastive Learning (Local-GCL in short). Local-GCL consists of two key designs: 1) We fabricate the positive examples for each node directly using its first-order neighbors, which frees our method from the reliance on carefully-designed graph augmentations; 2) To improve the efficiency of contrastive learning on graphs, we devise a kernelized contrastive loss, which could be approximately computed in linear time and space complexity with respect to the graph size. We provide theoretical analysis to justify the effectiveness and rationality of the proposed methods. Experiments on various datasets with different scales and properties demonstrate that in spite of its simplicity, Local-GCL achieves quite competitive performance in self-supervised node representation learning tasks on graphs with various scales and properties.

研究の動機と目的

• グラフ対照学習が、グラフの意味を歪める可能性のある複雑でタスク固有のデータ拡張に依存することを是正すること。
• 大規模グラフ環境における標準的な対照学習（例：InfoNCE）の2次計算およびメモリ複雑性を克服すること。
• 負例サンプリングやデータ拡張を必要としない、軽量でスケーラブルかつ効果的な自己教師付きノード表現学習手法を開発すること。
• 低同型性および大規模グラフを含む多様なグラフタイプにおいて、手法の有効性を検証すること。

提案手法

• 各ノードの1次近傍を直接用いてポジティブペアを構築することで、データ拡張の必要性を排除する。
• 標準的なInfoNCE損失の代替として、線形時間かつ線形空間の計算を可能にするカーネル化された対照損失を提案する。
• ランダム特徴マップを用いて負の項を近似し、効率的な計算のためにレプレセントァ定理を活用する。
• 標準的なGCNエンコーダーを用い、提案された損失をノード表現とその局所的近傍との対照に適用する。
• ミニバッチ分割の問題を回避するため、フルグラフ学習と完全に互換性を持つように設計されている。
• 理論的分析により、埋め込み次元を大きくすることで予測誤差の境界が小さくなることが示され、手法の有効性が裏付けられている。

実験結果

リサーチクエスチョン

• RQ1 グラフ対照学習において、性能を維持または向上させつつ、データ拡張の必要性を排除できるか？
• RQ2 グラフサイズに比例して計算複雑性を2次から線形に削減できる対照損失を設計できるか？
• RQ3 Ogbn-Arxivのような大規模グラフにおいて、この手法はスケーラブルなベースラインと比較してどのように性能を発揮するか？
• RQ4 ノード特徴とラベルが近隣と相関が低い異型的グラフに対しても、この手法は汎用性を示せるか？
• RQ5 提案フレームワークにおける埋め込み次元および投影次元の変更に伴う性能感度はどの程度か？

主な発見

• Local-GCLは、Cora、Citeseer、Pubmedを含む7つのノード分類ベンチマークのうち6つで最先端性能を達成した。
• 大規模なOgbn-Arxivデータセットでは、Local-GCLは72.29％のテスト精度を達成し、GRACEよりも著しく高速な訓練を実現した。BGRLやCCA-SSGと同等の性能を示した。
• CCA-SSGやBGRLと比較して、2倍の高速化を達成しながらも、競争力ある精度を維持しており、優れた効率性を示している。
• PhotoやComputersのような異型的グラフに対しても、Local-GCLは良好な性能を発揮し、同型的設定を超えた頑健性を示している。
• 埋め込み次元を大きくする（例：最大2048まで）と性能が向上し、投影次元の影響は最小限であるため、実用的かつ効率的であることが示された。
• アブレーションスタディにより、近傍に基づくポジティブペア構築が有効であり、カーネル化された損失が負例サンプリングなしにスケーラブルな訓練を可能にすることが確認された。