[論文レビュー] XSimGCL: Towards Extremely Simple Graph Contrastive Learning for Recommendation

Junliang Yu, Xin Xia+4 more|arXiv (Cornell University)|Sep 6, 2022

Recommender Systems and Techniques被引用数 29

ひとこと要約

XSimGCL はノイズベースで軽量なグラフ対比学習アプローチを推薦へ適用し、データ拡張を多用する手法と同等かそれ以上の性能を、単一パスのアーキテクチャで実現します。

ABSTRACT

Contrastive learning (CL) has recently been demonstrated critical in improving recommendation performance. The underlying principle of CL-based recommendation models is to ensure the consistency between representations derived from different graph augmentations of the user-item bipartite graph. This self-supervised approach allows for the extraction of general features from raw data, thereby mitigating the issue of data sparsity. Despite the effectiveness of this paradigm, the factors contributing to its performance gains have yet to be fully understood. This paper provides novel insights into the impact of CL on recommendation. Our findings indicate that CL enables the model to learn more evenly distributed user and item representations, which alleviates the prevalent popularity bias and promoting long-tail items. Our analysis also suggests that the graph augmentations, previously considered essential, are relatively unreliable and of limited significance in CL-based recommendation. Based on these findings, we put forward an eXtremely Simple Graph Contrastive Learning method (XSimGCL) for recommendation, which discards the ineffective graph augmentations and instead employs a simple yet effective noise-based embedding augmentation to generate views for CL. A comprehensive experimental study on four large and highly sparse benchmark datasets demonstrates that, though the proposed method is extremely simple, it can smoothly adjust the uniformity of learned representations and outperforms its graph augmentation-based counterparts by a large margin in both recommendation accuracy and training efficiency. The code and used datasets are released at https://github.com/Coder-Yu/SELFRec.

研究の動機と目的

• グラフ拡張が CL ベースの推薦における役割と、コントラスト損失が表現の均一性に与える影響を調査する。
• 埋め込みの均一性を制御可能に正則化するノイズベースの拡張を提案する。
• 単一の前方伝搬で推薦タスクと対比タスクを統合する XSimGCL を開発する。
• 層間コントラストと共有表現の利点に関する理論的および実証的証拠を提供する。

提案手法

• 埋め込みに制御可能な一様ノイズを加えるノイズベースの表現拡張を導入する。
• 推薦タスクと対比タスクの両方に対して同じ摂動表現を使用する XSimGCL を提案し、単一の前方伝搬を可能にする。
• 最終層の対比を層間対比へ置き換え、グラフスペクトルの高周波情報を活用する。
• BPR様の推薦損失と InfoNCE ベースの対比損失を結合したジョイント損失を用いる。
• グラフスペクトルに基づく理論分析を提供し、層間対比の有効性を正当化する。

Figure 1: Graph contrastive learning with edge dropout for recommendation.

実験結果

リサーチクエスチョン

• RQ1 CL ベースの推薦モデルにおけるグラフ拡張はどれほど必要で、実際の性能にどの程度寄与しているのか？
• RQ2 表現レベルのノイズ拡張は学習された埋め込みの均一性を制御し、推奨品質を改善できるのか？
• RQ3 最終層対比より高周波情報を活用する層間対比は利点をもたらすのか？
• RQ4 XSimGCL は拡張ベースおよび従来の単純な CL 手法と比べて効率と精度の点でどうか？

主な発見

手法	Yelp2018 リコール@20	Yelp2018 NDCG@20	Amazon-Kindle リコール@20	Amazon-Kindle NDCG@20	Alibaba-iFashion リコール@20	Alibaba-iFashion NDCG@20	Amazon-Electronics リコール@20	Amazon-Electronics NDCG@20
LightGCN	0.0590	0.0484	0.1871	0.1186	0.0845	0.0390	0.0497	0.0298
SGL-ND	0.0643	0.0529	0.1880	0.1192	0.0896	0.0432	0.0621	0.0459
SGL-ED	0.0637	0.0526	0.1936	0.1231	0.0932	0.0447	0.0636	0.0464
SGL-RW	0.0637	0.0526	0.1936	0.1231	0.0932	0.0447	0.0636	0.0464
SGL-WA	0.0628	0.0525	0.1918	0.1221	0.0913	0.0440	0.0631	0.0465

• InfoNCE 主導の均一性が、グラフ拡張自体よりも CL ベースの推奨の性能向上を主に推進している。
• ノイズベースの拡張は表現の均一性を制御可能に高め、長尾アイテムの推奨を改善する。
• XSimGCL は単一パス構造で競争力のあるまたは優れた性能を達成し、SimGCL や他の拡張ベース手法と比べて学習コストを削減する。
• グラフスペクトルを用いた理論分析は、層間対比が高周波情報をより有効に活用することを支持する。
• 4つの大規模で疎なデータセットでの実証結果は、XSimGCL が精度と学習効率の点で拡張ベースの同手法を上回る。

Figure 2: The architectures of SimGCL and XSimGCL.