[論文レビュー] DiffuRec: A Diffusion Model for Sequential Recommendation

Zihao Li, Aixin Sun+1 more|arXiv (Cornell University)|Apr 3, 2023

Recommender Systems and Techniques被引用数 22

ひとこと要約

DiffuRec はシーケンシャル推奨に拡散モデルを適用し、アイテムとユーザーの興味を分布として表現し、ターゲットアイテム表現を再構成する Transformer ベースの Approximator と、推論のための逆拡散プロセスを用いる。

ABSTRACT

Mainstream solutions to Sequential Recommendation (SR) represent items with fixed vectors. These vectors have limited capability in capturing items' latent aspects and users' diverse preferences. As a new generative paradigm, Diffusion models have achieved excellent performance in areas like computer vision and natural language processing. To our understanding, its unique merit in representation generation well fits the problem setting of sequential recommendation. In this paper, we make the very first attempt to adapt Diffusion model to SR and propose DiffuRec, for item representation construction and uncertainty injection. Rather than modeling item representations as fixed vectors, we represent them as distributions in DiffuRec, which reflect user's multiple interests and item's various aspects adaptively. In diffusion phase, DiffuRec corrupts the target item embedding into a Gaussian distribution via noise adding, which is further applied for sequential item distribution representation generation and uncertainty injection. Afterward, the item representation is fed into an Approximator for target item representation reconstruction. In reverse phase, based on user's historical interaction behaviors, we reverse a Gaussian noise into the target item representation, then apply a rounding operation for target item prediction. Experiments over four datasets show that DiffuRec outperforms strong baselines by a large margin.

研究の動機と目的

• アイテムを固定ベクトルではなく分布としてモデル化し、アイテムの複数の潜在的側面を捉える。
• ユーザーの興味を分布としてモデル化し、嗜好の多様性と不確実性を反映する。
• 履歴アイテム表現の生成にターゲットアイテムのガイダンスを統合し、推薦品質を向上させる。
• 拡散と逆プロセスを活用して頑健な訓練と反復推論を可能にする。
• 実世界の SR データセットで強力なベースラインより優れた性能を示す。

提案手法

• ターゲットアイテムを分布として表現し、拡散フェーズでガウスノイズで汚染する。
• 歴史アイテムの分布表現からターゲットアイテム表現を再構築する Transformer ベースの Approximator を用いる。
• 逆フェーズでは、ターゲットアイテム表現を推定するためにガウスノイズを反復的に反転し、次のアイテムを予測するために丸め演算を適用する。
• 拡散のための切り捨てられた線形ノイズスケジュールと、訓練を安定化させる再重み付けされた単純損失を採用する。
• 不確実性を導入しユーザーの興味に適応するためにステップ埋め込みと lambda を介した分布シグナル摂動を組み込む。
• 四つの実世界データセットで評価し、九つの強力なベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは連続推奨において多潜在アイテム側面と多様なユーザー動態を効果的に表現できるか？
• RQ2 拡散を介したターゲットアイテムガイダンスを組み込むことで、歴史アイテム表現学習と次アイテム予測は改善されるか？
• RQ3 Transformer ベースの近似器は拡散下でノイズの混じった分布表現からターゲットアイテム表現を再構成できるか？
• RQ4 DiffuRec は実世界データセット上で強力な SR ベースラインと比較してどうか？
• RQ5 拡散パラメータと不確実性モデリングが推奨品質に与える影響は？

主な発見

• DiffuRec は四つの実世界データセットで九つの強力なベースラインを大幅に上回る。
• アイテムとユーザーの嗜好を分布としてモデル化することで、複数の潜在的側面と多様な興味を捉えることが可能になる。
• ターゲットアイテムガイダンスを履歴アイテム表現に組み込むことで、再構成と予測が改善される。
• 不確実性を注入する拡散フレームワークは頑健性と表現学習を向上させる。
• Transformer ベースの Approximator は訓練時および推論時に、分布表現からターゲットアイテム表現を効果的に再構成する。