[論文レビュー] Sequential Recommendation with Diffusion Models

Hanwen Du, Huanhuan Yuan+3 more|arXiv (Cornell University)|Apr 10, 2023

Recommender Systems and Techniques被引用数 10

ひとこと要約

tldr: 本論文はDiffRecを提案し、拡散モデルベースの時系列レコメンダーが離散アイテム列に対して拡散過程を適応させ、効率的な訓練/推論を実現し、最先端の結果を達成します。

ABSTRACT

Generative models, such as Variational Auto-Encoder (VAE) and Generative Adversarial Network (GAN), have been successfully applied in sequential recommendation. These methods require sampling from probability distributions and adopt auxiliary loss functions to optimize the model, which can capture the uncertainty of user behaviors and alleviate exposure bias. However, existing generative models still suffer from the posterior collapse problem or the model collapse problem, thus limiting their applications in sequential recommendation. To tackle the challenges mentioned above, we leverage a new paradigm of the generative models, i.e., diffusion models, and present sequential recommendation with diffusion models (DiffRec), which can avoid the issues of VAE- and GAN-based models and show better performance. While diffusion models are originally proposed to process continuous image data, we design an additional transition in the forward process together with a transition in the reverse process to enable the processing of the discrete recommendation data. We also design a different noising strategy that only noises the target item instead of the whole sequence, which is more suitable for sequential recommendation. Based on the modified diffusion process, we derive the objective function of our framework using a simplification technique and design a denoise sequential recommender to fulfill the objective function. As the lengthened diffusion steps substantially increase the time complexity, we propose an efficient training strategy and an efficient inference strategy to reduce training and inference cost and improve recommendation diversity. Extensive experiment results on three public benchmark datasets verify the effectiveness of our approach and show that DiffRec outperforms the state-of-the-art sequential recommendation models.

研究の動機と目的

• 逐次推奨における不確実性と露出バイアスのモデリングを動機づける。
• 逐次推奨へ拡散モデルを導入し、離散データへ適応させる。
• 系列に適した前方/後方遷移とターゲットノイズ戦略を設計する。
• 扱いやすい目的関数を導出し、デノイズ機能を持つ逐次推奨モデルを構築する。
• コストを抑え多様性を向上させる効率的な訓練と推論戦略を提案する。

提案手法

• 離散アイテムを連続的な隠れ表現へ写像する追加の前方遷移を定義する。
• 拡散過程の間、ターゲットアイテムの隠れ表現のみをノイズ化して、次アイテム予測の目的と整合させる。
• 線形層とsoftmaxを介して隠れ表現をアイテム分布へ戻す逆遷移を導入する。
• 単純化した変分目的関数を導出し、平均二乗誤差（MSE）損失と標準的な推奨損失の和に縮約する。
• 位置と拡散ステップの埋め込みを用いたTransformerエンコーダでDSR（Denoise Sequential Recommender）を開発する。
• 難易度の高い拡散ステップに焦点を当てるため、ステップサンプリングと重要度サンプリングを用いた効率的な訓練を適用する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルを、離散的な逐次推奨タスクへ効果的に適応できるのか。
• RQ2 後方/前方の拡散遷移をどう設計すべきか、系列で後方推定崩壊を避けるには。
• RQ3 拡散ベースの逐次推奨の訓練を扱いやすくする目的関数の定式化はどのようなものか。
• RQ4 効率的な訓練と推論戦略で、過度なコストをかけずに競争力のある性能を得られるか。
• RQ5 DiffRecはベンチマークデータセットで最先端の性能と多様性の向上を達成するか。

主な発見

• DiffRecは3つの公開ベンチマークで最先端の逐次推奨器を上回る。
• 修正された拡散過程（離散→連続遷移とターゲットアイテムノイズ付与）は、逐次データを効果的に扱う。
• 単一の拡散ステップ/系列ごとに追加の推奨損失を可能にする、MSEベースの扱いやすい目的関数を導出。
• 拡散ステップサンプリングと重要度サンプリングを用いた効率的な訓練戦略は、コストを削減しつつ性能を維持する。
• Transformer内の位置および拡散埋め込みを用いたDSRは、ターゲットアイテムの隠れ表現を正確にデノイズする。
• 計算コストを削減し推奨の多様性を高める推論戦略が提案されている。