[論文レビュー] Generate What You Prefer: Reshaping Sequential Recommendation via Guided Diffusion

Zhengyi Yang, Jiancan Wu+4 more|arXiv (Cornell University)|Oct 31, 2023

Recommender Systems and Techniques被引用数 15

ひとこと要約

DreamRec は逐次推奨を、ネガティブサンプリングを回避しアイテム空間の探索を改善するため、ガイド付き拡散を用いて oracle item を生成する学習から生成へのタスクとして再定義する。

ABSTRACT

Sequential recommendation aims to recommend the next item that matches a user's interest, based on the sequence of items he/she interacted with before. Scrutinizing previous studies, we can summarize a common learning-to-classify paradigm -- given a positive item, a recommender model performs negative sampling to add negative items and learns to classify whether the user prefers them or not, based on his/her historical interaction sequence. Although effective, we reveal two inherent limitations:(1) it may differ from human behavior in that a user could imagine an oracle item in mind and select potential items matching the oracle; and (2) the classification is limited in the candidate pool with noisy or easy supervision from negative samples, which dilutes the preference signals towards the oracle item. Yet, generating the oracle item from the historical interaction sequence is mostly unexplored. To bridge the gap, we reshape sequential recommendation as a learning-to-generate paradigm, which is achieved via a guided diffusion model, termed DreamRec.Specifically, for a sequence of historical items, it applies a Transformer encoder to create guidance representations. Noising target items explores the underlying distribution of item space; then, with the guidance of historical interactions, the denoising process generates an oracle item to recover the positive item, so as to cast off negative sampling and depict the true preference of the user directly. We evaluate the effectiveness of DreamRec through extensive experiments and comparisons with existing methods. Codes and data are open-sourced at https://github.com/YangZhengyi98/DreamRec.

研究の動機と目的

• 逐次推奨をネガティブサンプリングを伴う分類問題から生成問題へ転換する動機づけ。
• ユーザーの嗜好を基盤となるデータ生成プロセスとしてモデル化し、 history に適合したオラクルアイテムを生成する。
• history をガイドした拡散生成を活用してネガティブサンプリングへの依存を削減または低減する。

提案手法

• ユーザーの相互作用シーケンスから history-guidance 信号を導出する Transformer エンコーダを用いる。
• history を条件として oracle item を生成する拡散ベースのノイズ除去プロセスを適用する（e_{n}^{0} ~ p_{ heta}(·|e_{1:n-1})）。
• 個別化されたガイダンスと一般的な拡散をバランスさせるための classifier-free guidance を組み込む（Equation 15）。
• ターゲットアイテムへノイズを除去する条件付き拡散目的で訓練する（Equation 14）。
• 推論時には Gaussian prior からの denoising によって e_{n}^{0} を生成し、推奨の候補集合内で K 最近傍アイテムを取得する。

実験結果

リサーチクエスチョン

• RQ1 ネガティブサンプリングに頼るのではなく、 oracle item を生成することで学習-分類から学習-生成へ逐次推奨を再定義できるか。
• RQ2 history 条件付きガイダンスを用いた guided diffusion は、従来のネガティブサンプリングベースラインと比較して生成された oracle items および下流の推奨を改善するか。
• RQ3 パーソナライズされたガイダンスの強さは、生成品質と推奨性能にどう影響するか。
• RQ4 oracle アイテムを生成することは、ネガティブサンプリングなしでアイテム空間全体を探索する際の影響を与えるか。

主な発見

Dataset	HR@20 (%)	NDCG@20 (%)
YooChoose	4.78 ± 0.06	2.23 ± 0.02
KuaiRec	5.16 ± 0.05	4.11 ± 0.02
Zhihu	2.26 ± 0.07	0.79 ± 0.01

• DreamRec は YooChoose, KuaiRec, Zhihu の HR@20 および NDCG@20 において強力なベースライン（GRU4Rec, Caser, SASRec, S-IPS, AdaRanker, CL4SRec, DiffRec）を上回る。
• DreamRec は three dataset 全体でより高い HR@20 および NDCG@20 を達成：YooChoose（HR 4.78, NDCG 2.23）、KuaiRec（HR 5.16, NDCG 4.11）、Zhihu（HR 2.26, NDCG 0.79）。
• 可視化は、ネガティブサンプリングなしで DreamRec がより広いアイテム空間を探索する一方、SASRec はネガティブサンプリングの有無を問わず限界があることを示す。
• history を用いた guided diffusion はパーソナライゼーションを向上させるが、ガイダンスの強すぎる（高い w）適用は生成品質と全体の性能を損なう可能性がある。
• DreamRec は訓練時のネガティブサンプリングの必要性を排除するが、評価時には候補セット上での retrieval ステップを活用できる。