[論文レビュー] SimpleX: A Simple and Strong Baseline for Collaborative Filtering

Kelong Mao, Jieming Zhu+5 more|arXiv (Cornell University)|Sep 26, 2021

Recommender Systems and Techniques参考文献 42被引用数 22

ひとこと要約

本論文は、新しいコサイン対照損失（CCL）と大規模なネガティブサンプリングを活用する、シンプルだが非常に効果的な協調フィルタリングベースライン、SimpleXを提案する。その単純さにもかかわらず、NDCG@20において最先端モデルを最大48.5%上回る性能を示し、損失関数とネガティブサンプリングがモデルアーキテクチャと同等にCF性能において重要であることを示している。

ABSTRACT

Collaborative filtering (CF) is a widely studied research topic in recommender systems. The learning of a CF model generally depends on three major components, namely interaction encoder, loss function, and negative sampling. While many existing studies focus on the design of more powerful interaction encoders, the impacts of loss functions and negative sampling ratios have not yet been well explored. In this work, we show that the choice of loss function as well as negative sampling ratio is equivalently important. More specifically, we propose the cosine contrastive loss (CCL) and further incorporate it to a simple unified CF model, dubbed SimpleX. Extensive experiments have been conducted on 11 benchmark datasets and compared with 29 existing CF models in total. Surprisingly, the results show that, under our CCL loss and a large negative sampling ratio, SimpleX can surpass most sophisticated state-of-the-art models by a large margin (e.g., max 48.5% improvement in NDCG@20 over LightGCN). We believe that SimpleX could not only serve as a simple strong baseline to foster future research on CF, but also shed light on the potential research direction towards improving loss function and negative sampling. Our source code will be available at https://reczoo.github.io/SimpleX.

研究の動機と目的

• 協調フィルタリング（CF）における損失関数とネガティブサンプリングの未だ十分に探求されていない役割を調査すること。これは、複雑な相互作用エンコーダーに注目が集まりがちな中で、しばしば軽視されている。
• CFにおける最先端性能を達成するには洗練されたモデルが不可欠であるという仮定に挑戦すること。
• 将来的なCFモデルの公平でより強固な評価を可能にする、単純で効率的かつ強力なベースラインを確立すること。
• 多様なデータセットにおいて、コサイン対照損失（CCL）と高比率ネガティブサンプリングの有効性を実証的に検証すること。

提案手法

• 正のユーザ・アイテムペair間のコサイン類似度を最大化し、負のペア間の類似度を最小化する新しいコサイン対照損失（CCL）を提案。対照を高めるためにマージンを導入する。
• 深層ニューラルネットワークやメッセージパッシングを一切使用しない、ユーザーおよびアイテム埋め込みの照会のみで構成される統合的で軽量なCFモデルであるSimpleXを設計する。
• 訓練の安定化と一般化性能の向上を図るため、通常の小規模な比率（1–10）とは対照的に、最大1000:1に達する大規模なネガティブサンプリング比を採用する。
• ユーザーがインタラクションしたアイテム埋め込みの平均プーリングを用いてユーザー表現を生成する。YouTubeNetにインspiredされている。
• 訓練と推論を統合したパイプラインを採用。訓練、検証、テストのスプリット間でアイテム埋め込みのみを共有することで、インダクティブ学習を可能にする。
• CCLと標準的なネガティブサンプリングを組み合わせた単純な最適化目的関数を採用。これにより、高い訓練効率（例：大規模データセットで19分）が実現可能である。

実験結果

リサーチクエスチョン

• RQ1 同じモデルアーキテクチャを用いた場合、異なる損失関数が協調フィルタリング性能にどのように影響を与えるか？
• RQ2 さまざまな損失関数において、協調フィルタリングにおける最適なネガティブサンプリング比は何か？
• RQ3 適切に設計された損失関数を備えた単純なモデルが、複雑な最先端モデルを上回ることは可能か？
• RQ4 損失関数とネガティブサンプリングの選択が、さまざまなデータセットにおけるモデルの一般化性能とロバストネスにどの程度影響を与えるか？

主な発見

• SimpleXは、単に埋め込み照会と提案されたCCL損失を使用するだけで、ベンチマークデータセットにおいてLightGCNを最大48.5%上回るNDCG@20の性能を達成した。
• CCLと大規模なネガティブサンプリング比（1000:1）の組み合わせは、小規模なネガティブサンプリングを用いた標準的なBPR損失よりも顕著に優れた性能を示した。
• SimpleXは、GNNベースおよびオートエンコーダー基盤のモデルを含む11のベンチマークデータセットにおいて、29の最先端CFモデルを一貫して上回った。
• 64次元の埋め込みのみを用いても、Mult-VAE や EASE R といったパラメータが多くなるモデルを同等のスケールに再パラメータ化した場合を上回った。
• SimpleXの訓練時間は非常に効率的で、大規模データセットでもたったの19分で完了し、産業用途への導入に適している。
• 訓練・検証・テストのスプリット間でアイテム埋め込みのみを共有するインダクティブ学習設定でも、強力な性能を維持した。