[論文レビュー] Multi-Interest-Aware User Modeling for Large-Scale Sequential Recommendations

Jianxun Lian, Iyad Batal+5 more|arXiv (Cornell University)|Feb 18, 2021

Recommender Systems and Techniques参考文献 35被引用数 4

ひとこと要約

本稿では、順序推薦におけるユーザーの多様で変化する関心を、関心レベルおよびインスタンスレベルのアテンション、局所的近接デバッグ、ハイウェイ接続を用いて学習することで、ユーザーの多様で変化する関心をモデル化する、マルチチャネルメモリネットワークであるSequential User Matrix (SUM) を提案する。SUMは2つの実世界データセットにおいて最先端のモデルを上回り、Bing Native AdsにおけるオンラインA/Bテストではクリック利回りが1.46%向上し、収益が1.32%向上した。

ABSTRACT

Precise user modeling is critical for online personalized recommendation services. Generally, users' interests are diverse and are not limited to a single aspect, which is particularly evident when their behaviors are observed for a longer time. For example, a user may demonstrate interests in cats/dogs, dancing and food \& delights when browsing short videos on Tik Tok; the same user may show interests in real estate and women's wear in her web browsing behaviors. Traditional models tend to encode a user's behaviors into a single embedding vector, which do not have enough capacity to effectively capture her diverse interests. This paper proposes a Sequential User Matrix (SUM) to accurately and efficiently capture users' diverse interests. SUM models user behavior with a multi-channel network, with each channel representing a different aspect of the user's interests. User states in different channels are updated by an \emph{erase-and-add} paradigm with interest- and instance-level attention. We further propose a local proximity debuff component and a highway connection component to make the model more robust and accurate. SUM can be maintained and updated incrementally, making it feasible to be deployed for large-scale online serving. We conduct extensive experiments on two datasets. Results demonstrate that SUM consistently outperforms state-of-the-art baselines.

研究の動機と目的

• 長期間の行動履歴から多様で動的なユーザー関心を捉えるために、単一ベクトルによるユーザー表現の限界を解消すること。
• 10ms未満の遅延でリアルタイムオンラインサービングに適した、スケーラブルで段階的更新可能なモデルを設計すること。
• マルチチャネルアーキテクチャを用いて、複数の関心を同時にモデル化することで、順序推薦のパフォーマンスを向上させること。
• インスタンスレベルのアテンションと局所的近接デバッグおよびハイウェイ接続を用いた、表現学習の強化とロバスト性の向上。

提案手法

• 各チャネルが別個のユーザー関心を表すマルチチャネルメモリネットワークを採用し、多様な好みを並列でモデル化可能にする。
• 関心レベルおよびインスタンスレベルのアテンションを適用し、関連性と文脈に基づいてユーザー行動イベントを関連するチャネルに動的にルーティングする。
• 各チャネルにおけるerase-and-add更新メカニズムは、アテンションを用いてメモリ状態を部分的に上書きまたは保持することで、関心追跡の精度を向上させる。
• 局所的近接デバッグコンponentは、時間的に近接しているが意味的に関係のないイベントからのノイズを低減し、モデルのロバスト性を向上させる。
• チャネル間のハイウェイ接続により情報の流れが可能になり、勾配伝搬が改善され、より深いかつ正確なモデリングが可能になる。
• モデルは段階的アップデートをサポートしており、低遅延な効率的なオンライン推論を実現し、大規模な展開に適している。

実験結果

リサーチクエスチョン

• RQ1 マルチチャネルメモリネットワークは、長期間の順序行動データにおける複数の多様なユーザー関心を効果的にモデル化できるか？
• RQ2 インスタンスレベルのアテンションは、関心レベルのアテンションのみに比べて、関心表現の正確性をどのように向上させるか？
• RQ3 局所的近接デバッグ機構は、時間的に近接しているが関係のないイベントからのノイズをどの程度低減するか？
• RQ4 チャネル間のハイウェイ接続は、モデルのパフォーマンスおよび学習安定性にどのように影響を与えるか？
• RQ5 SUMは、実世界の産業的オンラインサービング環境において、優れたパフォーマンスとスケーラビリティを達成できるか？

主な発見

• SUMは2つの実世界データセットにおいて、常に最先端のベースラインを上回り、順序推薦タスクにおける優れたパフォーマンスを示した。
• AmazonおよびTaobaoのデータセットにおいて、SUMはAUCおよびNDCGの両方で顕著な向上を達成し、既存のモデルよりも両方の指標で改善が見られた。
• Bing Native AdsにおけるオンラインA/Bテストでは、GRUベースのプロダクションモデルと比較して、クリック利回りが1.46%向上し、収益が1.32%向上した。
• アブレーションスタディの結果、インスタンスレベルのアテンション、デバッグ、ハイウェイ接続の各コンポonentがモデルパフォーマンス向上に正の寄与をしていることが確認された。
• 段階的アップデートメカニズムにより、SUMは低推論遅延を維持でき、大規模なオンライン展開に適していることが示された。