[論文レビュー] Neural Attentive Session-based Recommendation

Jing Li, Pengjie Ren+3 more|arXiv (Cornell University)|Nov 13, 2017

Recommender Systems and Techniques参考文献 20被引用数 30

ひとこと要約

本論文は、注意メカニズムを用いてユーザーの順序的な行動と主な目的を同時にモデル化することで、セッションベースの推薦を向上させる深層学習フレームワークであるNeural Attentive Recommendation Machine（NARM）を提案する。NARMは、セッション内の重要なアイテムに注目し、RNNで符号化された順序的特徴とバイリニアマッチング方式で統合することで、特に長時間のセッションにおいて最先端の性能を達成し、従来手法を最大15.32%上回る。

ABSTRACT

Given e-commerce scenarios that user profiles are invisible, session-based recommendation is proposed to generate recommendation results from short sessions. Previous work only considers the user's sequential behavior in the current session, whereas the user's main purpose in the current session is not emphasized. In this paper, we propose a novel neural networks framework, i.e., Neural Attentive Recommendation Machine (NARM), to tackle this problem. Specifically, we explore a hybrid encoder with an attention mechanism to model the user's sequential behavior and capture the user's main purpose in the current session, which are combined as a unified session representation later. We then compute the recommendation scores for each candidate item with a bi-linear matching scheme based on this unified session representation. We train NARM by jointly learning the item and session representations as well as their matchings. We carried out extensive experiments on two benchmark datasets. Our experimental results show that NARM outperforms state-of-the-art baselines on both datasets. Furthermore, we also find that NARM achieves a significant improvement on long sessions, which demonstrates its advantages in modeling the user's sequential behavior and main purpose simultaneously.

研究の動機と目的

• セッションベースの推薦モデルが順序的行動にのみ注目するが、ユーザーのセッション内での主な目的を捉えていないという既存手法の限界を是正すること。
• 注目メカニズムを用いたハイブリッドエンコーダーを用いて、順序的行動とユーザーの意図を統合的にモデル化することで、推薦精度を向上させること。
• ユーザーのインタラクションの流れと、ユーザーの意図を反映する最も関連性の高いアイテムを捉える統一されたセッション表現を開発すること。
• 注目ベースのモデル化が、ユーザーの意図がより明確に表れる長時間のセッションにおいて特に有効であることを実証すること。

提案手法

• NARMは、順序的モデリングにGRUベースのRNNと、ユーザーの意図に配慮した注目メカニズムを組み合わせたハイブリッドエンコーダーを採用する。
• 注目メカニズムは、ユーザーの主な目的に対する各アイテムの関連性に基づいて動的重みを計算し、ユーザーの意図をよりよく反映するアイテムに高い重みを割り当てる。
• バイリニアマッチング方式により、統一されたセッション表現と候補アイテムとの適合性を測定し、推薦スコアを計算する。
• モデルはエンドツーエンドで訓練され、アイテム表現、セッション表現、およびそれらのマッチングスコアを同時に最適化する。
• 注目重みは、GRUの最終隠れ状態から導出されるクエリベクトルを用いて計算され、ユーザーの意図を最もよく反映するアイテムに注目できる。
• 統一されたセッション表現は、最終GRU隠れ状態と、注目重みに基づくアイテム埋め込みの重み付き和を連結することで形成される。

実験結果

リサーチクエスチョン

• RQ1 順序的行動だけでは不十分な状況において、注目メカニズムがユーザーの主な目的を効果的に特定できるか？
• RQ2 順序的行動とユーザーの意図の両方をモデル化することで、特に長時間のセッションにおいて推薦精度が向上するか？
• RQ3 NARMの性能は、さまざまなセッション長さにおいてRNNベースのベースラインと比較してどうなるか？
• RQ4 注目メカニズムが、セッションの最後に位置するとは限らないが意味的に関連性の高いアイテムをどれだけ効果的に強調できるか？

主な発見

• NARMは、DIGINETICAおよびDiginomailの両データセットにおいて、すべての評価指標で最先端のImproved GRU-Recベースラインを上回った。
• DIGINETICAデータセットでは、セッション長11のケースで精度が15.32%向上し、長時間のセッションにおいて優れた性能を示した。
• セッション長4〜17の範囲では、NARMは常にベースラインを上回り、8.24%から15.32%の向上を示した。これは、ユーザーの意図を効果的にモデル化できていることを示している。
• 注目メカニズムは、しばしばセッションの後半に位置するが局所的に集中した重要なアイテムを正しく特定できており、一般的なブラウジング行動と整合している。
• 非常に長いセッション（例：長さ17以上）では性能向上が鈍り、無目的なクリックによるノイズ増加のため、注目ベースのモデリングに限界がある可能性がある。
• 可視化により、注目メカニズムが、セッションの途中や初期に現れるが意味的に関連性の高いアイテムに対しても高い重みを割り当てることが確認され、順序に依存しない意図の捉え方の有効性が裏付けられた。