[論文レビュー] Self Contrastive Learning for Session-based Recommendation

Zhengxiang Shi, Xi Wang+1 more|arXiv (Cornell University)|Jun 2, 2023

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、陽性/陰性サンプルの構築やデータオーグメンテーションを必要とせず、アイテム表現の均一性を直接最適化する簡素化されたコントラスト学習手法である自己対照的学習（SCL）を提案する。SCLはk-NN近似により計算複雑度を低減しつつ、P@10およびMRR@10などの主要指標で最先端のセッションベース推薦モデルを8.2–11.2%向上させる。

ABSTRACT

Session-based recommendation, which aims to predict the next item of users' interest as per an existing sequence interaction of items, has attracted growing applications of Contrastive Learning (CL) with improved user and item representations. However, these contrastive objectives: (1) serve a similar role as the cross-entropy loss while ignoring the item representation space optimisation; and (2) commonly require complicated modelling, including complex positive/negative sample constructions and extra data augmentation. In this work, we introduce Self-Contrastive Learning (SCL), which simplifies the application of CL and enhances the performance of state-of-the-art CL-based recommendation techniques. Specifically, SCL is formulated as an objective function that directly promotes a uniform distribution among item representations and efficiently replaces all the existing contrastive objective components of state-of-the-art models. Unlike previous works, SCL eliminates the need for any positive/negative sample construction or data augmentation, leading to enhanced interpretability of the item representation space and facilitating its extensibility to existing recommender systems. Through experiments on three benchmark datasets, we demonstrate that SCL consistently improves the performance of state-of-the-art models with statistical significance. Notably, our experiments show that SCL improves the performance of two best-performing models by 8.2% and 9.5% in P@10 (Precision) and 9.9% and 11.2% in MRR@10 (Mean Reciprocal Rank) on average across different benchmarks. Additionally, our analysis elucidates the improvement in terms of alignment and uniformity of representations, as well as the effectiveness of SCL with a low computational cost.

研究の動機と目的

• コントラスト学習に基づくセッション推薦におけるアイテム表現の均一性の未利用状態を是正すること。
• 複雑な陽性/陰性サンプルの構築やデータオーグメンテーションに依存する従来のコントラスト学習目的関数の簡素化。
• アイテム表現の均一性にのみ焦点を当てた統一的で解釈可能かつ拡張可能なコントラスト学習目的関数を用いてモデル性能の向上を図ること。
• SCLを適用した場合、複雑なコントラスト学習目的関数が依然として必要かどうかを評価すること。
• アブレーションおよびハイパーパramータ分析を通じて、SCLの効率性と低コストな計算コストを実証すること。

提案手法

• SCLは、各アイテムの埋め込みを他のすべてのアイテムと比較することで、すべてのアイテム表現の均一性を強制する新しいコントラスト損失を導入する。
• コアとなる目的関数は自己対照的損失として定式化され、$\mathcal{L}^{\text{SCL}} = -\sum_{i=1}^{n} \log \frac{f(\mathbf{x}_i, \mathbf{x}_i)}{\sum_{\mathbf{x}' \in \mathcal{K}_i} f(\mathbf{x}_i, \mathbf{x}')} $ となる。ここで$\mathcal{K}_i$はアイテム$i$のk近傍近隣の集合である。
• 計算コストを低減するため、時間計算量を$O(n^2 d)$から$O(n k d)$に削減するk-Nearest Neighbor（kNN）近似を用いる。
• SCLは、アーキテクチャの変更や追加のデータオーグメンテーションを必要とせず、既存のSOTAモデルにおけるコントラスト学習目的関数の即時置き換えとして設計されている。
• 本手法は任意のセッションベース推薦モデルと互換性があり、表現の整合性と均一性の両方を向上させる。
• 温度ハイパーパramータ$\tau$は、コントラスト分布の鋭さを制御するために用いられ、最適な性能は$\tau = 0.1$で達成される。

実験結果

リサーチクエスチョン

• RQ1 SCLは、さまざまなベンチマークにおいて、セッションベース推薦モデルの性能をどの程度向上させるか？
• RQ2 SCLは、表現の整合性と均一性の観点から、モデル性能をどのように向上させるか？
• RQ3 SCLを適用した場合、複雑なコントラスト学習目的関数は依然として必要か？
• RQ4 SCLは、低コストな計算コストを維持しながらも、最先端の性能を維持できるか？

主な発見

• SCLは、異なるベンチマークで2つのSOTAモデルのP@10をそれぞれ8.2%および9.5%、MRR@10を9.9%および11.2%向上させた。
• SCLは、Tmall、Nowplaying、Digineticaの3つのデータセットにおいて一貫してモデル性能を向上させ、統計的有意性を示した。
• kNN近似を用いた場合、負例サイズ$k = 2$で最適な性能が達成され、複雑な負例サンプリングは不要であることが示された。
• 最適な温度ハイパーパramータ$\tau$は0.1と特定され、それ以上の値では性能が低下した。
• SCLは、全負例セットを用いても強力な性能を維持するが、$k = 10$を超えると利得が減少し、限界収穫逓減が見られた。
• kNN近似により計算コストを顕著に削減でき、性能に妥協をきたさずに効率的なデプロイが可能となった。