[論文レビュー] A Review-Driven Neural Model for Sequential Recommendation

Chenliang Li, Xichuan Niu+3 more|arXiv (Cornell University)|Jul 1, 2019

Recommender Systems and Techniques参考文献 7被引用数 7

ひとこと要約

本稿では、アスペクトに敏感なレビュー埋め込みからユーザーおよびアイテムの表現を統合し、階層的アテンション・オーバー・アテンション機構を用いて、ユニオンレベルおよび個別レベルの順序パターンを捉えるレビュー駆動型ニューラル順序推薦モデルRNSを提案する。RNSは、ユーザーのレビューからの豊富な意味的信号を活用することで、3つの実世界データセットにおいて最先端のモデルを著しく上回る性能を発揮する。

ABSTRACT

Writing review for a purchased item is a unique channel to express a user's opinion in E-Commerce. Recently, many deep learning based solutions have been proposed by exploiting user reviews for rating prediction. In contrast, there has been few attempt to enlist the semantic signals covered by user reviews for the task of collaborative filtering. In this paper, we propose a novel review-driven neural sequential recommendation model (named RNS) by considering users' intrinsic preference (long-term) and sequential patterns (short-term). In detail, RNS is devised to encode each user or item with the aspect-aware representations extracted from the reviews. Given a sequence of historical purchased items for a user, we devise a novel hierarchical attention over attention mechanism to capture sequential patterns at both union-level and individual-level. Extensive experiments on three real-world datasets of different domains demonstrate that RNS obtains significant performance improvement over uptodate state-of-the-art sequential recommendation models.

研究の動機と目的

• 順序推薦モデルにおけるユーザーのレビュー意味的特徴の統合の欠如に対処すること。
• レビューから得られる表現を用いて、長期的ユーザー嗜好と短期的順序パターンの両方をモデル化すること。
• 複数の粒度—ユニオンレベルと個別レベル—における動的ユーザー嗜好を捉えることで、推薦性能を向上させること。
• アスペクトに敏感な特徴抽出と階層的アテンション機構が順序推薦に与える有効性を検証すること。

提案手法

• ユーザーおよびアイテムの表現をレビュー本文から抽出するために、特定のアスペクトに焦点を当てたアスペクトに敏感な畳み込みニューラルネットワーク（CNN）を用いる。
• ユニオンレベル（グループ化されたアイテム系列）と個別レベル（単一アイテムの遷移）の2段階で順序的嗜好をモデル化するため、アテンションの階層的アテンション機構を設計する。
• ユーザー固有の長期的嗜好はアスペクトに敏感なレビュー埋め込みから得られ、短期的嗜好は順序的遷移のアテンション重み付き集約によって捉えられる。
• 最終的なユーザー表現は、ハイパーパrameter α によって制御される学習可能な重み付き融合により、長期的および短期的嗜好を統合する。
• 購入の時系列順序情報を保持するために、位置埋め込みを組み込む。
• 次アイテム予測を最適化するために、ランキング損失を用いてエンド・トゥ・エンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのレビューからの意味的信号を組み込むことで、順序推薦の性能が向上するか？
• RQ2 ユニオンレベルと個別レベルの順序パターンは、ユーザー嗜好モデル化においてどのように異なる貢献をするか？
• RQ3 順序推薦において、アスペクトに敏感な特徴抽出と階層的アテンション機構の相対的な重要性は何か？
• RQ4 シーケンス長（L）やアテンション重み（α）といったハイパーパrameter がモデル性能に与える影響は何か？

主な発見

• RNSは、Instant Video、Pet Supplies、Tools and Home Improvementの3つの実世界データセットにおいて、最先端の順序推薦モデルを著しく上回る性能を達成する。
• 階層的アテンション機構は、ユニオンレベルのみまたは個別レベルのみを用いるモデルを上回り、複数粒度の順序パターンをモデル化する有効性を確認する。
• 位置埋め込みを除外すると顕著な性能低下が生じ、購入順序が順序推薦にとって重要な信号であることが示唆される。
• アスペクトに敏感な特徴抽出はモデル性能を向上させ、レビューからのアスペクト固有の意味的特徴が生のテキスト埋め込みよりもより特徴的な情報を提供することが示された。
• 最適なハイパーパrameter の設定は L=5 および α=0.1 であり、L はシーケンス長を制御し、α は長期的および短期的嗜好のバランスを制御する。
• 事例 studies により、階層的アテンション機構が動的ユーザー嗜好を効果的に捉えていることが確認され、一部のユーザーは最近のアイテムに依存し、他のユーザーは広範なアイテムグループに依存している。