[論文レビュー] Dynamic Memory based Attention Network for Sequential Recommendation

Qiaoyu Tan, Jianwei Zhang+5 more|arXiv (Cornell University)|Feb 18, 2021

Recommender Systems and Techniques参考文献 54被引用数 7

ひとこと要約

本稿では、動的メモリベースのアテンションネットワーク（DMAN）を提案する。DMANは、長期間にわたるユーザ行動シーケンスを部分シーケンスに分割し、動的メモリブロックを用いて長期間のユーザの関心を明示的に捉え、保持する順序推薦モデルである。短期間のダイナミクスを再帰的アテンションでモデル化し、長期間の忠実性を再構成損失最適化されたメモリ機構で確保することで、4つのベンチマークデータセットにおいて長期間のシーケンスでも効率的な推論を実現し、最先端の性能を達成した。

ABSTRACT

Sequential recommendation has become increasingly essential in various online services. It aims to model the dynamic preferences of users from their historical interactions and predict their next items. The accumulated user behavior records on real systems could be very long. This rich data brings opportunities to track actual interests of users. Prior efforts mainly focus on making recommendations based on relatively recent behaviors. However, the overall sequential data may not be effectively utilized, as early interactions might affect users' current choices. Also, it has become intolerable to scan the entire behavior sequence when performing inference for each user, since real-world system requires short response time. To bridge the gap, we propose a novel long sequential recommendation model, called Dynamic Memory-based Attention Network (DMAN). It segments the overall long behavior sequence into a series of sub-sequences, then trains the model and maintains a set of memory blocks to preserve long-term interests of users. To improve memory fidelity, DMAN dynamically abstracts each user's long-term interest into its own memory blocks by minimizing an auxiliary reconstruction loss. Based on the dynamic memory, the user's short-term and long-term interests can be explicitly extracted and combined for efficient joint recommendation. Empirical results over four benchmark datasets demonstrate the superiority of our model in capturing long-term dependency over various state-of-the-art sequential models.

研究の動機と目的

• 実世界のレコメンデーションシステムにおいて、標準的な順序モデルが長期間の依存関係を捉えきれないという課題に対処すること。
• 低レイテンシの産業的応用では現実的でない、推論時に全長の長大なシーケンスをスキャンする計算上の非効率性を回避すること。
• 初期の行動が後の選択に影響を与える場合に特に重要な、短期および長期のユーザ好みを明示的にモデル化して推薦精度を向上させること。
• メモリ拡張ネットワークにおける長期的メモリの忘却を軽減するために、訓練中にメモリの忠実性を向上させる再構成損失を導入すること。
• スケーラブルで効率的なアーキテクチャを構築し、部分シーケンス処理と動的メモリ抽象化を通じて、推論時間を短縮しながら高い性能を維持すること。

提案手法

• 推論時の計算負荷を軽減するために、ユーザ行動シーケンス全体を連続する部分シーケンスに分割する。
• 隣接する部分シーケンス間の依存関係を捉えることで、再帰的アテンションネットワークを用いて短期的ユーザ関心をモデル化する。
• 局所的再構成損失を用いて、外部メモリブロックに長期的ユーザ関心を抽象化する動的メモリネットワークを導入する。
• 入力の部分シーケンスを再構成できるようにメモリブロックを訓練することで、長期的好みの高忠実度保持を確保する。
• アテンション機構を用いて短期的および長期的表現を統合し、次アイテム予測用の最終的なユーザ埋め込みを生成する。
• 次アイテム予測とメモリ再構成の両方を含むマルチタスク学習目的関数を用いて、モデル全体をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 全シーケンスをスキャンせずに、長期間のユーザ関心を効果的にモデル化できるメモリ拡張アテンションネットワークは、極めて長い行動シーケンスにおいて有効であるか？
• RQ2 再構成損失を用いた動的メモリ抽象化は、標準的なメモリネットワークと比較して、メモリの忠実性を向上させ、忘却を軽減するか？
• RQ3 短期的および長期的関心の共同モデル化は、長期間の順序データにおいて推薦性能をどの程度向上させるか？
• RQ4 提案された部分シーケンス処理戦略は、全シーケンスモデルと比較して、モデル効率と性能のバランスをどの程度改善するか？
• RQ5 高い性能を達成しつつ、計算コストを最小限に抑えるために、最適なメモリサイズとアテンション層の数は何か？

主な発見

• DMANは、MovieLens、Taobao、JD.com、XLongの4つのベンチマークデータセットにおいて、既存の順序推薦モデルを上回る最先端の性能を達成した。
• モデルは収束が早く、Taobao、JD.com、XLongでは通常2エポック以内、MovieLensでは50エポック以内で収束し、優れた訓練効率を示した。
• MovieLensでは、メモリブロック数（m）を20に設定した場合が最適で、それ以上に増やすとわずかな向上しか得られず、表現能力の飽和が示された。
• 2層のアテンション（L=2）が、性能とメモリコストのバランスを良好に保つ最適な選択であった。深層ネットワークは効果の逓減を示した。
• 再構成損失を用いた動的メモリ機構は、長期的メモリの忠実性を顕著に向上させ、忘却を軽減し、長期間シーケンスのモデル化を強化した。
• 実験結果から、短期的および長期的関心の両方をモデル化することは、最近の行動や静的メモリにのみ焦点を当てる手法よりも、より優れた推薦をもたらすことが確認された。