[論文レビュー] Graph Soft-Contrastive Learning via Neighborhood Ranking

Zhiyuan Ning, Pengfei Wang+6 more|arXiv (Cornell University)|Sep 28, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、絶対的類似度ラベル付けに代えて近傍順位付けを導入することで、頑健性と性能を向上させる、グラフ対照学習の新規フレームワークであるGraph Soft-Contrastive Learning (GSCL) を提案する。相対的類似度を近傍順位付けを通じて活用し、ゲート付き順位付けInfoNCE損失を導入することで、11種類の多様なグラフデータセットにおいて20のSOTA手法を上回る最先端の性能を達成し、近傍サンプリングにより計算効率も向上させた。

ABSTRACT

Graph Contrastive Learning (GCL) has emerged as a promising approach in the realm of graph self-supervised learning. Prevailing GCL methods mainly derive from the principles of contrastive learning in the field of computer vision: modeling invariance by specifying absolutely similar pairs. However, when applied to graph data, this paradigm encounters two significant limitations: (1) the validity of the generated views cannot be guaranteed: graph perturbation may produce invalid views against semantics and intrinsic topology of graph data; (2) specifying absolutely similar pairs in the graph views is unreliable: for abstract and non-Euclidean graph data, it is difficult for humans to decide the absolute similarity and dissimilarity intuitively. Despite the notable performance of current GCL methods, these challenges necessitate a reevaluation: Could GCL be more effectively tailored to the intrinsic properties of graphs, rather than merely adopting principles from computer vision? In response to this query, we propose a novel paradigm, Graph Soft-Contrastive Learning (GSCL). This approach facilitates GCL via neighborhood ranking, avoiding the need to specify absolutely similar pairs. GSCL leverages the underlying graph characteristic of diminishing label consistency, asserting that nodes that are closer in the graph are overall more similar than far-distant nodes. Within the GSCL framework, we introduce pairwise and listwise gated ranking InfoNCE loss functions to effectively preserve the relative similarity ranking within neighborhoods. Moreover, as the neighborhood size exponentially expands with more hops considered, we propose neighborhood sampling strategies to improve learning efficiency. Our extensive empirical results across 11 commonly used graph datasets-including 8 homophily graphs and 3 heterophily graphs-demonstrate GSCL's superior performance compared to 20 SOTA GCL methods.

研究の動機と目的

• 従来のグラフ対照学習（GCL）手法が絶対的類似度ペairとビュー増幅に依存するという限界、特に不適切または意味的に一貫性のないグラフビューを生成する問題を解決すること。
• グラフデータの本質的な非ユークリッド的かつ抽象的な性質をより適切に反映するため、近傍順位付けを通じて相対的類似度をモデル化するGCLフレームワークの開発。
• 人為的に定義された絶対的類似度ペアの必要性を排除し、グラフ内で近いノード同士が一般的に類似しているという原則に基づいて対照学習を定式化すること。
• 複数ホップにわたる近傍の指数的増加を考慮し、計算コストを管理するための近傍サンプリング戦略を導入することで、計算効率を向上させること。
• グラフのトポロジーとラベルの一貫性パターンを活用することで、グラフ構造データに適したより合理的で効果的な自己教師付き学習の新パラダイムを確立すること。

提案手法

• GSCLは、従来の対照学習の絶対的類似度ペアを、グラフ近傍構造に基づく相対的順位付けメカニズムに置き換える。ここで、グラフ内で近いノード同士はより類似していると仮定する。
• 本手法は2つの新規損失関数を導入する：ペアワイズおよびリストワイズのゲート付き順位付けInfoNCE。これらは複数ホップにわたる正例・負例ノードペアの比較を通じて、近傍内の相対的類似度順序を保持する。
• ペアワイズのゲート付き順位付け損失は、アーキテクチャノードとその近傍ノード間の類似度スコアを計算し、アテンションゲートが複数ホップレベルからの寄与を動的に重み付けする。
• リストワイズのゲート付き順位付け損失は、この概念を全近傍に拡張し、階層的構造を用いて複数ホップにわたる類似度スコアを統合し、順位の一貫性を強制する。
• 指数的に増加する近傍の計算コストを管理するため、GSCLは各ホップレベルで最も関連性の高いノードのみをサンプリングする近傍サンプリング戦略を採用する。
• フレームワークは、明示的な正例／負例ペアのラベル付けを必要とせず、類似ノードの順位一貫性を最大化するとともに、不似のノード同士を分離する対照的目的関数に基づき、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 グラフ対照学習は、コンピュータビジョンから借用されたパラダイムを離れて、グラフデータの本質的トポロジー的および意味的性質をより適切に尊重できるように再考できるか？
• RQ2 近傍に基づく相対的順位付けに依存することで、グラフ対照学習における人為的絶対的類似度ペアの必要性を排除することは可能か？
• RQ3 拡大する近傍内のノードの相対的類似度を効果的にモデル化することで、表現学習を向上させることは可能か？
• RQ4 近傍サンプリング戦略は、多ホップ近傍学習における計算コストを削減しつつ、性能を維持できるか？
• RQ5 順位ベースの対照的目的関数は、多様なグラフベンチマークにおいて、絶対的類似度ペアを用いた従来の対照学習を上回る性能を示すか？

主な発見

• GSCLは、8つのホモフィリーおよび3つのヘテロフィリーを含む11のベンチマークグラフデータセットにおいて、20の既存のSOTA GCL手法を上回る最先端の性能を達成した。
• 提案されたリストワイズのゲート付き順位付けInfoNCE損失は、ペアワイズバージョンを常に上回る性能を示し、全近傍順位付けのモデル化の利点を裏付けた。
• 近傍サンプリング戦略により、多ホップ近傍集約の計算複雑度が低減され、大規模グラフにおける効率的な学習が可能になった。
• GSCLは、視覚的変換の妥当性に依存しないため、従来のGCL手法とは異なり、ビューの摂動に対して頑健である。
• 特にヘテロフィリーのグラフにおいて顕著な性能向上を達成し、従来のGCL手法がホモフィリー仮定の崩壊により失敗しやすい状況でも優れた結果を示した。
• 実験的結果から、近いノード同士がより類似しているという「ラベル一貫性の減少」性質が、グラフ表現学習における強いインダクティブバイアスとして成立することが確認された。