[論文レビュー] Diffusion Augmentation for Sequential Recommendation

Qidong Liu, Fan Yan+5 more|arXiv (Cornell University)|Sep 22, 2023

Recommender Systems and TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、データスパarsityとロングテールユーザー問題を軽減するために、高品質で好みに配慮したアイテム系列を生成する、新しい拡散ベースのデータ拡張フレームワーク、DiffuASRを提案する。順序付きU-Netを用いて離散的系列生成をモデル化し、好みの整合性を図る2つのガイド戦略を採用することで、複雑な訓練手順を必要とせず、SRSモデルの性能を直接向上させる拡張データを生成する。3つのデータセットおよびモデルにおいて一貫した向上効果を示した。

ABSTRACT

Sequential recommendation (SRS) has become the technical foundation in many applications recently, which aims to recommend the next item based on the user's historical interactions. However, sequential recommendation often faces the problem of data sparsity, which widely exists in recommender systems. Besides, most users only interact with a few items, but existing SRS models often underperform these users. Such a problem, named the long-tail user problem, is still to be resolved. Data augmentation is a distinct way to alleviate these two problems, but they often need fabricated training strategies or are hindered by poor-quality generated interactions. To address these problems, we propose a Diffusion Augmentation for Sequential Recommendation (DiffuASR) for a higher quality generation. The augmented dataset by DiffuASR can be used to train the sequential recommendation models directly, free from complex training procedures. To make the best of the generation ability of the diffusion model, we first propose a diffusion-based pseudo sequence generation framework to fill the gap between image and sequence generation. Then, a sequential U-Net is designed to adapt the diffusion noise prediction model U-Net to the discrete sequence generation task. At last, we develop two guide strategies to assimilate the preference between generated and origin sequences. To validate the proposed DiffuASR, we conduct extensive experiments on three real-world datasets with three sequential recommendation models. The experimental results illustrate the effectiveness of DiffuASR. As far as we know, DiffuASR is one pioneer that introduce the diffusion model to the recommendation.

研究の動機と目的

• 順序推薦システムにおけるデータスパarsityとロングテールユーザー問題の二重の課題に取り組む。
• 低品質な生成系列や複雑な訓練手順を要する既存のデータ拡張手法の限界を克服する。
• 離散的系列データに対する拡散モデルの生成能力を活用し、推薦システム分野における新しい応用を実現する。
• ユーザーの好みを保持しつつ、妥当な次アイテムを生成できる、系列に配慮した拡散フレームワークを設計する。
• 生成された系列が高品質で意味的に整合的であることを保証することで、SRSモデルを拡張データ上で直接訓練可能にする。

提案手法

• 画像と系列生成の間のギャップを埋めるために、拡散モデルにおける疑似系列生成フレームワークを提案する。
• 相互作用系列の長距離依存関係を捉えるために、離散的系列ノイズ予測に適応した順序付きU-Netアーキテクチャを設計する。
• 分類器フリー・ガイドランスを用いて、好みに配慮したガイド戦略と系列に配慮したガイド戦略の2つを導入し、生成系列をユーザーの歴史的好みと整合させる。
• 短い相互作用履歴に対しても、妥当で多様かつ好みに一致するアイテム系列を、エンドツーエンドで学習する。
• 標準的なSRSモデルの訓練パイプラインを変更せずに、生成された系列を追加の訓練データとして用い、微調整する。
• 拡散モデルの強力なモデリング能力を活用し、実際の系列からの分布シフトを最小限に抑えることで、高品質な生成を確保する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、推薦のための高品質で離散的な系列データを効果的に生成するために適応可能か？
• RQ2 拡張系列の生成過程で、ユーザーの歴史的系列の好みをどのように保持できるか？
• RQ3 拡散生成によるデータ拡張は、データスパarsityおよびロングテールユーザーのシナリオにおいて、順序推薦のパフォーマンスを向上させるか？
• RQ4 異なるガイド戦略は、生成系列の品質および関連性にどのように影響するか？
• RQ5 複雑な反復的または微調整された訓練手順を要せず、拡張データを直接SRSモデルの訓練に使用できるか？

主な発見

• DiffuASRは、Beauty、Sports、Taobaoの3つの実世界データセットにおいて、順序推薦のパフォーマンスを顕著に向上させた。
• Bert4Rec、SASRec、TransRecの3つのベンチマークSRSモデルすべてで一貫した向上を達成し、汎用性の高さを示した。
• 10件未満の歴史的相互作用を持つロングテールユーザーが最も顕著なパフォーマンス向上を示し、本手法のスパースユーザーに対する有効性を裏付けた。
• 1系列あたりの拡張アイテム数はモデルのパフォーマンスに強く影響し、中程度の拡張レベルで最適な向上が得られた。
• 提案されたガイド戦略は、生成アイテムの関連性を著しく向上させ、分布シフトを低減し、ユーザーの好みとの整合性を高めた。
• アブレーションスタディにより、順序付きU-Netとガイドメカニズムの両方が、高品質な系列生成および下流の推薦精度の向上に不可欠であることが確認された。