[論文レビュー] Rethinking Lifelong Sequential Recommendation with Incremental Multi-Interest Attention

Yongji Wu, Lu Yin+5 more|arXiv (Cornell University)|May 28, 2021

Recommender Systems and Techniques参考文献 39被引用数 6

ひとこと要約

本稿では、長期間にわたる行動履歴から多様なユーザーの関心を効率的に捉えるために、増分型マルチインタレスト自己注意機構を用いた、Lifelong sequential recommendation モデルであるLimaRecを提案する。RNNベースのメモリネットワークに代えて自己注意機構を採用することで、LimaRecは定常時間のオンライン推論を実現するとともに、4つの実世界データセットにおいて最先端のベースラインを上回る性能を発揮する。特に、長期間の行動履歴を持つユーザーに対して顕著な優位性を示す。

ABSTRACT

Sequential recommendation plays an increasingly important role in many e-commerce services such as display advertisement and online shopping. With the rapid development of these services in the last two decades, users have accumulated a massive amount of behavior data. Richer sequential behavior data has been proven to be of great value for sequential recommendation. However, traditional sequential models fail to handle users' lifelong sequences, as their linear computational and storage cost prohibits them from performing online inference. Recently, lifelong sequential modeling methods that borrow the idea of memory networks from NLP are proposed to address this issue. However, the RNN-based memory networks built upon intrinsically suffer from the inability to capture long-term dependencies and may instead be overwhelmed by the noise on extremely long behavior sequences. In addition, as the user's behavior sequence gets longer, more interests would be demonstrated in it. It is therefore crucial to model and capture the diverse interests of users. In order to tackle these issues, we propose a novel lifelong incremental multi-interest self attention based sequential recommendation model, namely LimaRec. Our proposed method benefits from the carefully designed self-attention to identify relevant information from users' behavior sequences with different interests. It is still able to incrementally update users' representations for online inference, similarly to memory network based approaches. We extensively evaluate our method on four real-world datasets and demonstrate its superior performances compared to the state-of-the-art baselines.

研究の動機と目的

• RNNベースのライフランニング順序推薦モデルが長期依存性の問題と高い計算コストを抱えるという限界を是正すること。
• ノイズに惑わされず、長期間の行動履歴において多様で多面的なユーザーの関心をモデル化すること。
• 厳密な遅延およびストレージ制約下で、リアルタイム推薦システムにおける定常時間のオンライン推論を可能にすること。
• 長期間にわたる複雑な行動履歴を持つユーザーの推薦性能を向上させることで、明確な関心パターンを捉えること。

提案手法

• 自己注意機構を活用して、ライフランニングな履歴から関連する行動を動的に抽出することで、無関係なアイテムに起因するノイズを低減する。
• 増分型自己注意モジュールを採用し、ユーザー表現を定常時間で更新することで、オンライン学習を可能にする。
• K個の明確な関心ベクトルをユーザーごとに学習するためのマルチインタレスト抽出モジュールを導入。このモジュールは、行動履歴の上をソフトサーチで探索する。
• ユーザー表現の精錬と時間的ダイナミクスの強化を目的として、2段階の増分型自己注意ブロックをスタックする。
• 各関心ベクトルをクエリとして用いるクエリベースの注意メカニズムを適用し、関連する歴史的行動を抽出する。
• 各新しい相互作用ごとに段階的に更新される、ユーザーの行動履歴のパーソナライズドメモリを維持する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、長期依存性を保持しつつ、RNNベースのメモリネットワークをライフランニング順序推薦で効果的に置き換えることができるか？
• RQ2 複数のユーザー関心をモデル化することで、長期間の行動履歴における推薦精度はどの程度向上するか？
• RQ3 増分型自己注意機構は、計算コストおよびストレージコストを削減しつつ、どの程度の性能を維持できるか？
• RQ4 ノイズが多いかスパースな場合、特に数年にわたるユーザー履歴を持つMovieLensのようなデータにおいて、モデルの性能はどの程度保たれるか？

主な発見

• LimaRecは、MovieLensや産業界のeコマースデータを含む4つの実世界データセットにおいて、最先端のベースラインを上回る優れた性能を発揮する。
• 長期間の行動履歴を持つユーザーに対して、LimaRecはベースラインと比較して性能低下の速度が遅く、シーケンス長に対するロバストネスを示している。
• 関心ベクトルの数Kを増やすことでヒットレートが顕著に向上し、K=9でピークに達する。これはマルチインタレストモデリングの重要性を示している。
• Kを大きくすることで推薦の多様性が向上するが、Kと実際のユーザー関心数との不一致により、若干のフラクチュエーションが生じる。
• スパースなデータや時間的に断続的なデータ（例：数年にわたるユーザー履歴を持つMovieLens）においても、LimaRecは長期間のシーケンスに対して高い性能を維持している。