[論文レビュー] Contrastive Learning for Recommender System

Zhuang Liu, Yunpu Ma+2 more|arXiv (Cornell University)|Jan 5, 2021

Recommender Systems and Techniques参考文献 38被引用数 44

ひとこと要約

グラフ対照学習とデバイエスされたコントラスト損失を導入し、GNNベースのレコメンダーシステムの表現品質を向上させ、選択およびサンプリングバイアスを緩和する。3つのデータセットに渡って複数のベースラインより改善を示す。

ABSTRACT

Recommender systems, which analyze users' preference patterns to suggest potential targets, are indispensable in today's society. Collaborative Filtering (CF) is the most popular recommendation model. Specifically, Graph Neural Network (GNN) has become a new state-of-the-art for CF. In the GNN-based recommender system, message dropout is usually used to alleviate the selection bias in the user-item bipartite graph. However, message dropout might deteriorate the recommender system's performance due to the randomness of dropping out the outgoing messages based on the user-item bipartite graph. To solve this problem, we propose a graph contrastive learning module for a general recommender system that learns the embeddings in a self-supervised manner and reduces the randomness of message dropout. Besides, many recommender systems optimize models with pairwise ranking objectives, such as the Bayesian Pairwise Ranking (BPR) based on a negative sampling strategy. However, BPR has the following problems: suboptimal sampling and sample bias. We introduce a new debiased contrastive loss to solve these problems, which provides sufficient negative samples and applies a bias correction probability to alleviate the sample bias. We integrate the proposed framework, including graph contrastive module and debiased contrastive module with several Matrix Factorization(MF) and GNN-based recommendation models. Experimental results on three public benchmarks demonstrate the effectiveness of our framework.

研究の動機と目的

• GNNベースのレコメンダーシステムにおける表現品質の改善を促進し、メッセージドロップアウトから生じる選択バイアスを低減する。
• BPRベースの最適化における不適切なネガティブサンプリングとサンプリングバイアスに対処する。
• グラフ対照学習をデバイエスな対照損失と組み合わせた一般的なフレームワークを提案する。
• このフレームワークが複数のベースラインモデルとデータセットで改善を生み出すことを示す。

提案手法

• ユーザ（および任意でアイテム）を取り巻くL-hopサブグラフを撹乱し、2つの撹乱間の一致を最大化するグラフ対照学習(GCL)モジュールを提案する。
• 追加のネガティブサンプルとサンプリングバイアスを低減するバイアス補正確率tau+を提供するデバイエスな対照損失(DCL)を導入する。
• L_GCLとL_DCLをL2正則化とともにエンドツーエンドの目的関数に統合し、Adamで学習する。
• コサイン類似度と温度パラメータ(t1, t2)を対照損失で用い、埋め込みを正規化する。
• ミニバッチ内の他のユーザとアイテムをネガティブサンプルとして扱い、埋め込み空間の均一性と分離性を促進する。
• このフレームワークをMF、DMF、GCN、GC-MC、PinSage、NGCF、LR-GCCF、LightGCNなどのさまざまなベースレコメンダモデルに適用し、それらの損失をGCL+DCLに置換する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 提案フレームワークはレコメンダシステムの一般的・ベンチマークアルゴリズムに適用可能か。
• RQ2 RQ2: さまざまな要素（グラフ撹乱、デバイエス損失）の性能への寄与はどの程度か。
• RQ3 RQ3: フレームワークは最先端モデルよりも効率的か。
• RQ4 RQ4: tau+やグラフ撹乱pなどのハイパーパラメータに対するフレームワークの頑健性はどの程度か。

主な発見

Method	Yelp2018 リコール@20	Yelp2018 NDCG@20	Amazon-Book リコール@20	Amazon-Book NDCG@20	Steam リコール@20	Steam NDCG@20
MF	0.0445	0.0361	0.0306	0.0231	0.0632	0.0303
MF++	0.0502 (+12.81%)	0.0403 (+11.63%)	0.0489 (+59.80%)	0.0386 (+67.10%)	0.0759 (+20.09%)	0.0390 (+28.71%)
DMF	0.0419	0.0347	0.0268	0.0215	0.0877	0.0441
DMF++	0.0615 (+46.78%)	0.0507 (+46.11%)	0.0408 (+52.24%)	0.0333 (+54.88%)	0.1063 (+21.21%)	0.0547 (+24.04%)]	GCN	0.0457	0.0371	0.0312	0.0242	0.0866	0.0435
GCN++	0.0649 (+42.01%)	0.0533 (+43.67%)	0.0486 (+55.77%)	0.0381 (+57.44%)	0.1089 (+25.75%)	0.0568 (+30.57%)
GC-MC	0.0498	0.0411	0.0346	0.0258	0.1023	0.0518
GC-MC++	0.0622 (+24.90%)	0.0504 (+22.63%)	0.0457 (+32.08%)	0.0360 (+39.53%)	0.1161 (+13.49%)	0.0605 (+16.80%)
PinSage	0.0458	0.0369	0.0403	0.0309	0.0849	0.0455
PinSage++	0.0479 (+4.59%)	0.0392 (+6.23%)	0.0469 (+16.38%)	0.0369 (+19.42%)	0.1044 (+22.97%)	0.0540 (+18.68%)
NGCF	0.0584	0.0489	0.0365	0.0271	0.1129	0.0597
NGCF++	0.0646 (+10.62%)	0.0532 (+8.79%)	0.0452 (+23.84%)	0.0348 (+28.41%)	0.1149 (+1.77%)	0.0597 (+1.51%)
LR-GCCF	0.0602	0.0493	0.0373	0.0283	0.1035	0.0534
LR-GCCF++	0.0711 (+18.11%)	0.0558 (+13.18%)	0.0460 (+23.32%)	0.0340 (+20.14%)	0.1086 (+4.93%)	0.0565 (+5.81%)
LightGCN	0.0630	0.0519	0.0453	0.0346	0.1159	0.0611
LightGCN++	0.0684 (+8.57%)	0.0564 (+8.67%)	0.0506 (+11.70%)	0.0397 (+14.74%)	0.1204 (+3.88%)	0.0628 (+2.78%)
LightGCN-single	0.0633	0.0506	0.0466	0.0358	0.1246	0.0650
LightGCN-single++	0.0690 (+9.00%)	0.0560 (+10.67%)	0.0545 (+16.95%)	0.0442 (+23.46%)	0.1382 (+10.91%)	0.0716 (+10.15%)

• このフレームワークは Yelp2018、Amazon-Book、Steam のベースラインモデルを一貫して改善する。
• グラフ撹乱とデバイエス対照損失はMFやDMFのような基本モデルの性能を大幅に向上させ、特にYelp2018で相対的な改善が大きい。
• LightGCNおよびその派生モデルのような最先端モデルも恩恵を受け、いくつかのデータセットでトップの結果を達成。
• MF/DMFはGCL+DCLへ切替えた際に大幅な利益を示し、（例：MF++のrecall@20とndcg@20で最大約60-67%の改善が一部データセットで見られる）。
• GCN++, GC-MC++, LR-GCCF++, LightGCN++ の派生は、データセット全体で基盤モデルを一貫して上回る。