[論文レビュー] Modeling Sequences as Distributions with Uncertainty for Sequential Recommendation
本稿では、ユーザーの関心の不確実性を捉えるために、アイテムとシーケンスを楕円型ガウス分布としてモデル化する分布ベースのトランスフォーマー、DT4SRを提案する。動的平均および共分散表現を専用トランスフォーマーで学習し、順位付けにウォッサーシュタイン距離を用いることで、特にコールドスタート状況において、最先端の手法を著しく上回る。3つのデータセット全体で、Recall@1に平均19.9%、NDCG@5に10.8%の向上を達成した。
The sequential patterns within the user interactions are pivotal for representing the user's preference and capturing latent relationships among items. The recent advancements of sequence modeling by Transformers advocate the community to devise more effective encoders for the sequential recommendation. Most existing sequential methods assume users are deterministic. However, item-item transitions might fluctuate significantly in several item aspects and exhibit randomness of user interests. This extit{stochastic characteristics} brings up a solid demand to include uncertainties in representing sequences and items. Additionally, modeling sequences and items with uncertainties expands users' and items' interaction spaces, thus further alleviating cold-start problems. In this work, we propose a Distribution-based Transformer for Sequential Recommendation (DT4SR), which injects uncertainties into sequential modeling. We use Elliptical Gaussian distributions to describe items and sequences with uncertainty. We describe the uncertainty in items and sequences as Elliptical Gaussian distribution. And we adopt Wasserstein distance to measure the similarity between distributions. We devise two novel Trans-formers for modeling mean and covariance, which guarantees the positive-definite property of distributions. The proposed method significantly outperforms the state-of-the-art methods. The experiments on three benchmark datasets also demonstrate its effectiveness in alleviating cold-start issues. The code is available inhttps://github.com/DyGRec/DT4SR.
研究の動機と目的
- アイテム遷移に内在する確率的性質があるにもかかわらず、決定論的ユーザー好みモデルの限界を是正すること。
- 分布ベースの表現によるユーザーとアイテムの相互作用空間の拡張を通じて、コールドスタート問題を軽減すること。
- 共分散行列が正定値であることを保証しながら、アイテムおよびシーケンス表現の平均と共分散を両方モデル化する微分可能なフレームワークの開発。
- ドット積アテンションではなくウォッサーシュタイン距離を用いて分布間の類似度を測定することで、推薦精度を向上させること。
- 現実の順序データにおける変化しやすい・変動するユーザー関心を捉えるために、不確実性を考慮したモデル化の優位性を示すこと。
提案手法
- アイテムとシーケンスを、中央傾向を表す平均とユーザー関心の不確実性を符号化する共分散を有する楕円型ガウス分布として表現する。
- 共分散行列の正定値性を維持するように設計された、平均表現を学習するための1つと、共分散表現を学習するためのもう1つの新しいトランスフォーマー・アーキテクチャを導入する。
- 予測された次アイテムの分布と候補アイテムの分布の類似度を測定するために、ウォッサーシュタイン距離を用いたメトリクス学習フレームワークを用いる。
- コレスキー分解を用いた微分可能な共分散行列のパrameterizationを適用し、最適化中に正定値性を保証する。
- トランスフォーマーの自己注意機構を、点埋め込みではなく分布埋め込み上で動作させるように変更し、シーケンス全体にわたる不確実性の動的モデル化を可能にする。
- 平均と共分散の2本立てアーキテクチャを採用し、両方のブランチを同時に学習することで、時間経過に伴う中心的好みとそのばらつきを捉える。
実験結果
リサーチクエスチョン
- RQ1不確実性を考慮した確率的分布としてユーザーのシーケンスをモデル化することで、決定論的ポイント埋め込みと比較して順序推薦性能が向上するか？
- RQ2アイテムおよびシーケンス表現に不確実性を組み込むことで、モデルのコールドスタートユーザーおよびアイテムの処理能力にどのような影響を与えるか？
- RQ3分布ベースの推薦において、従来のドット積アテンションと比較してウォッサーシュタイン距離を用いることで、順位付けにどのような影響を与えるか？
- RQ42つのトランスフォーマーからなるアーキテクチャは、共分散行列の正定値性を保ちつつ、平均と共分散のダイナミクスを効果的に学習できるか？
- RQ5提案手法は、異なるシーケンス長さとコールドスタート条件において、最先端のベースラインと比較してどのように性能を発揮するか？
主な発見
- Amazon Toysデータセットにおいて、DT4SRは2番目に良いベースラインと比較してRecall@1で32.4%の相対的改善を達成し、全メトリクスで平均19.9%の向上を示した。
- Amazon Gamesデータセットでは、Recall@1で11.4%、MRRで8.4%の相対的改善を達成し、多様なデータ分布にわたり一貫した向上を示した。
- 1回の相互作用しか持たないユーザー（極端なコールドスタート）に対して、DT4SRはSASRecと比較してRecall@5で9%の相対的改善を示した。
- 1回の相互作用しか持たないコールドスタートアイテムに対して、DT4SRはToysデータセットでRecall@5で100%の相対的改善、Gamesデータセットでは50%以上の改善を達成した。
- 頻度の高いアイテムに対しても、DT4SRは高い性能を維持しており、不確実性モデリングがよく表されたユーザーおよびアイテムの性能を損なわないことが示された。
- アブレーションスタディの結果、平均と共分散の両方のトランスフォーマーが性能向上に寄与していることが確認され、特に共分散ブランチが不確実性およびコールドスタート状況の処理において顕著な効果を示した。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。