[論文レビュー] LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation

Xuheng Cai, Chao Huang+2 more|arXiv (Cornell University)|Feb 16, 2023

Recommender Systems and Techniques被引用数 99

ひとこと要約

LightGCL は、推奨システムにおけるグラフ対照学習のためのSVDガイド拡張を提案し、確率的摂動を回避して堅牢性と効率を向上させる。複数の実世界データセットで最先端の成果を達成している。

ABSTRACT

Graph neural network (GNN) is a powerful learning approach for graph-based recommender systems. Recently, GNNs integrated with contrastive learning have shown superior performance in recommendation with their data augmentation schemes, aiming at dealing with highly sparse data. Despite their success, most existing graph contrastive learning methods either perform stochastic augmentation (e.g., node/edge perturbation) on the user-item interaction graph, or rely on the heuristic-based augmentation techniques (e.g., user clustering) for generating contrastive views. We argue that these methods cannot well preserve the intrinsic semantic structures and are easily biased by the noise perturbation. In this paper, we propose a simple yet effective graph contrastive learning paradigm LightGCL that mitigates these issues impairing the generality and robustness of CL-based recommenders. Our model exclusively utilizes singular value decomposition for contrastive augmentation, which enables the unconstrained structural refinement with global collaborative relation modeling. Experiments conducted on several benchmark datasets demonstrate the significant improvement in performance of our model over the state-of-the-arts. Further analyses demonstrate the superiority of LightGCL's robustness against data sparsity and popularity bias. The source code of our model is available at https://github.com/HKUDS/LightGCL.

研究の動機と目的

• データの sparsity とノイズの下で推奨の堅牢なグラフ対照学習を動機づける。
• グローバルな協調信号を注入するための特異値分解（SVD）に基づく軽量な augmentation スキームを導入する。
• SVDベースの augmentation を簡略化した対照学習目的と統合して表現品質を向上させる。
• データのスパース性、人気バイアス、過度平滑化への堅牢性を分析する。
• 既存のGCLベース手法と比較して効率の改善を実証する。

提案手法

• 局所的なユーザー-アイテム相互作用を捉える二層GCNのバックボーン。
• グローバルな協調構造を注入するための相互作用グラフのSVDガイド増強（スケーラビリティのためのランダムSVDを介して）。
• SVD再構成グラフから1つの増強ビューを構築し、主ビューとInfoNCE対照を実施。
• 効率のためにSVD成分（Uq, Sq, Vq）を事前計算し、正則化としてドロップアウトを用いた2ビュー対照学習を使用。
• 推奨損失とユーザー・アイテムの対照損失、およびL2正則化項を共同最適化。
• 3ビューCL手法に比べて学習コストを削減する複雑さ分析を提供。

Figure 1: Overall structure of LightGCL.

実験結果

リサーチクエスチョン

• RQ1 LightGCL は標準的な推奨ベンチマークで最先端のベースラインと比較してどの程度性能を発揮するか？
• RQ2 SVDガイド増強はデータのスパース性と人気バイアスに対する堅牢性を向上させつつ、効率的な学習を維持できるか？
• RQ3 異なるハイパーパラメータ（lambda1, tau, q）の性能への影響は？
• RQ4 局所-グローバル対照学習コンポーネントは性能にどの程度寄与するか？
• RQ5 LightGCL は過度平滑化に耐性があり、埋め込みは意味のある構造を維持するか？

主な発見

• LightGCL はRecall@20, Recall@40, NDCG@20, NDCG@40の5データセット全体で、列挙されたすべての対照ベースラインを一貫して上回る。
• SVDベースの増強はロバストなグローバル構造信号を提供し、ノイズの多いユーザー-アイテム相互作用に対する対照学習信号を改善する。
• LightGCL は一回のバッチあたりの複雑さが低く、低秩グラフ再構成による前処理コストが有利で、学習効率が向上する。
• アブレーション研究はSVDベースの増強が有効であり、MFベースの代替はLightGCLのSVD変種より性能が劣ることを示す。
• ハイパーパラメータ分析は、τ値の範囲で安定した性能を示し、小さなq（ランク）で十分であることを示す（q=5）。
• LightGCL はHCCFとSimGCLと比較してデータのスパース性と人気バイアスに対する堅牢性を示す。

Figure 2: Performance on users of different sparsity degrees, in terms of Recall (histograms) and relative Recall w.r.t overall performances (charts).