[論文レビュー] Hybrid Sequential Recommender via Time-aware Attentive Memory Network.

Wendi Ji, Keqiang Wang+3 more|arXiv (Cornell University)|May 18, 2020

Recommender Systems and Techniques参考文献 36被引用数 4

ひとこと要約

本稿では、時系列推薦における長期的ユーザー嗜好と短期的意図を統合するために、GRUユニットに時間に依存するゲーティングを組み込み、マルチホップメモリリーディングを可能にするMulti-hop Time-aware Attentive Memoryネットワーク（MTAM）を提案する。この手法は、時間に依存するアテンションと非線形なユーザー表現学習により、進化するユーザー行動をモデル化することで、6つのベンチマークデータセットにおける推薦精度を向上させる。

ABSTRACT

Recommendation systems aim to assist users to discover most preferred contents from an ever-growing corpus of items. Although recommenders have been greatly improved by deep learning, they still faces several challenges: (1) Behaviors are much more complex than words in sentences, so traditional attentive and recurrent models may fail in capturing the temporal dynamics of user preferences. (2) The preferences of users are multiple and evolving, so it is difficult to integrate long-term memory and short-term intent. In this paper, we propose a temporal gating methodology to improve attention mechanism and recurrent units, so that temporal information can be considered in both information filtering and state transition. Additionally, we propose a Multi-hop Time-aware Attentive Memory network (MTAM) to integrate long-term and short-term preferences. We use the proposed time-aware GRU network to learn the short-term intent and maintain prior records in user memory. We treat the short-term intent as a query and design a multi-hop memory reading operation via the proposed time-aware attention to generate user representation based on the current intent and long-term memory. Our approach is scalable for candidate retrieval tasks and can be viewed as a non-linear generalization of latent factorization for dot-product based Top-K recommendation. Finally, we conduct extensive experiments on six benchmark datasets and the experimental results demonstrate the effectiveness of our MTAM and temporal gating methodology.

研究の動機と目的

• 時系列推薦システムにおける複雑で変化するユーザー嗜好をモデル化する課題に対処すること。
• 従来のアテンションおよびRNNモデルがユーザー行動の時間的ダイナミクスを捉える際に抱える制限を克服すること。
• 時間に依存するアテンションメカニズムを用いて、長期記憶と短期的意図を効果的に統合すること。
• 効率的なTop-K候補抽出を可能にする、潜在的要因分解のスケーラブルで非線形な一般化を構築すること。
• 時間的文脈に影響を受ける変化する状態としてのユーザー嗜好をモデル化することで、推薦性能を向上させること。

提案手法

• アテンション計算とGRUに基づく状態遷移の両方に時間に依存する情報を取り入れる時間に依存するゲーティング機構を提案すること。
• 短期的意図をクエリとして扱い、長期記憶から関連情報を取得する時間に依存するアテンションメカニズムを設計すること。
• 現在の意図と過去のメモリに基づいて、ユーザー表現を反復的に精緻化するマルチホップメモリリーディング操作を実装すること。
• 時間に依存するGRUネットワークを用いて短期的ユーザー意図を学習し、同時に記録されたユーザー行動の履歴をメモリに保持すること。
• 現在の意図と長期記憶を反復的なメモリスロットへのアテンションを通じて組み合わせることでユーザー表現を構築すること。
• 最終的な推薦を、効率的な候補抽出を可能にするドット積ベースの潜在的要因分解の非線形一般化として定式化すること。

実験結果

リサーチクエスチョン

• RQ1 アテンションとRNNユニットにおける時間に依存するゲーティングは、時系列推薦におけるユーザー行動の進化ダイナミクスをよりよくモデル化できるか？
• RQ2 マルチホップメモリリーディング機構は、短期的意図と長期ユーザー嗜好をどの程度効果的に統合できるか？
• RQ3 提案された時間に依存するアテンションは、標準的なアテンションメカニズムと比較して、表現学習をどの程度改善するか？
• RQ4 MTAMフレームワークは、多様なベンチマークデータセットにおいて、既存の時系列推薦モデルを上回る性能を示すか？
• RQ5 この手法は、大規模な推薦システムにおけるリアルタイムのTop-K候補抽出に対して、効率的にスケーリングできるか？

主な発見

• 提案された時間に依存するゲーティング機構は、標準的なアテンションおよびRNNユニットと比較して、ユーザー行動の時間的ダイナミクスのモデル化を顕著に改善している。
• MTAMモデルは、6つのベンチマークデータセットにおける時系列推薦タスクで、最先端の性能を達成している。
• マルチホップメモリリーディング機構により、文脈に適した埋め込みの反復的精緻化が可能となり、より正確なユーザー表現学習が実現されている。
• この手法はTop-K候補抽出に対してスケーラブルであり、潜在的要因分解の非線形一般化として機能している。
• 実験結果から、特に時間の経過に伴うユーザー嗜好の変化を捉える能力向上が一貫して示されている。