[論文レビュー] Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding

Jiaxi Tang, Ke Wang|arXiv (Cornell University)|Sep 19, 2018

Recommender Systems and Techniques参考文献 27被引用数 5

ひとこと要約

この論文では、ユーザーの行動シーケンスを時間的要因と潜在的要因空間における2次元「画像」として扱うことで、トップ-N推薦におけるポイントレベルおよびユニオンレベルの順序パターンを捉える、畳み込みニューラルネットワークに基づくモデル、Caserを提案する。水平および垂直の畳み込みフィルタを適用することで、スキップ行動と長期的嗜好を効果的にモデル化し、複数の公開データセットにおいて最先端の手法を大きく上回る精度と再現率の向上を達成した。

ABSTRACT

Top-$N$ sequential recommendation models each user as a sequence of items interacted in the past and aims to predict top-$N$ ranked items that a user will likely interact in a `near future'. The order of interaction implies that sequential patterns play an important role where more recent items in a sequence have a larger impact on the next item. In this paper, we propose a Convolutional Sequence Embedding Recommendation Model (\emph{Caser}) as a solution to address this requirement. The idea is to embed a sequence of recent items into an `image' in the time and latent spaces and learn sequential patterns as local features of the image using convolutional filters. This approach provides a unified and flexible network structure for capturing both general preferences and sequential patterns. The experiments on public datasets demonstrated that Caser consistently outperforms state-of-the-art sequential recommendation methods on a variety of common evaluation metrics.

研究の動機と目的

• ユーザー行動における複雑な順序パターンを捉えることが難しい既存のマルコフ連鎖ベースのモデルの限界を解消すること。
• 複数の過去のアイテムが将来の行動に共同で影響する、ポイントレベルおよびユニオンレベルの順序依存性をモデル化すること。
• 直前ではないが依然として推薦に影響を与える可能性がある非連続な過去の行動（スキップ行動）を許容すること。
• 統合的なディープラーニングフレームワーク内で長期的ユーザー嗜好と短期的順序的ダイナミクスを統合すること。
• 埋め込みシーケンスにおける畳み込み特徴抽出を活用することで、実世界の順序的相互作用データにおける推薦精度を向上させること。

提案手法

• 時間的次元と潜在的要因次元に沿ってアイテム埋め込みを積み重ねることで、ユーザー行動シーケンスを2次元行列として表現する。
• 垂直畳み込みフィルタを適用して、時間ステップに沿った局所的パターンを学習し、最近の相互作用に重点を置く。
• 水平畳み込みフィルタを適用して、潜在的要因に沿った共起パターンを検出し、ユニオンレベルの依存性をモデル化する。
• ユーザー固有の射影層を介してパーソナライズドユーザー埋め込みを統合し、長期的嗜好を捉える。
• 順位付け損失関数（例：BPRに類似）を最適化することで、正しい次アイテム予測の尤度を最大化する。
• 畳み込みアーキテクチャの内在的構造を通じてスキップ接続とリサイダル構造を間接的に活用し、非隣接な影響を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の過去アイテムが将来の行動に共同で影響するユニオンレベルの順序パターンを、ディープラーニングモデルが効果的に捉えることができるか？
• RQ2 非直近の過去アイテムが依然として推薦に影響を与えるスキップ行動をモデル化することで、推薦性能にどのような影響が生じるか？
• RQ3 垂直および水平畳み込みフィルタは、順序推薦における時間的ダイナミクスと潜在的要因間の相互作用をどの程度効果的にモデル化しているか？
• RQ4 統合的なCNNベースのアーキテクチャは、ポイントレベルまたは高階マルコフ依存性に特化したモデルを上回る性能を発揮できるか？
• RQ5 長期的ユーザー嗜好を無視するモデルと比較して、パーソナライズド埋め込みの統合が性能にどの程度寄与するか？

主な発見

• Caserは、MovieLens、Gowalla、Yelp、Amazonの4つの公開データセットにおいて、精度、再現率、NDCG指標のすべてで最先端の性能を達成した。
• 全成分（パーソナライゼーション、水平および垂直畳み込み）を含むCaser-pvhモデルが最高の性能を発揮し、MovieLensでは15.07％のヒットレート、9.28％の平均逆順位を達成した。
• アブレーションスタディの結果、特に水平または垂直畳み込みを除去すると性能が著しく低下し、それらのモジュールが不可欠であることが実証された。
• 可視化により、垂直フィルタが最近のアイテムに高い重みを割り当てていることが確認され、順序推薦において「新鮮さ」の重要性と整合的であった。
• 水平フィルタはユニオンレベルのパターンを効果的に捉えていた：不要な過去アイテム（例：ロマンス映画）をマスクすると正しい次アイテムの順位付けが向上し、関連のあるアイテム（例：SF映画）をマスクすると性能が低下した。
• モデルはスキップ行動を効果的にモデル化しており、非連続的だが意味的に関連のあるアイテムを削除しても正確な予測が可能であることが示され、非連続的影響に対する頑健性が裏付けられた。