[論文レビュー] SDM: Sequential Deep Matching Model for Online Large-scale Recommender System

Fuyu Lv, Taiwei Jin+5 more|arXiv (Cornell University)|Sep 1, 2019

Recommender Systems and Techniques参考文献 33被引用数 17

ひとこと要約

本稿では、短時間のセッション内の複数の関心を同時にモデル化するマルチヘッド自己注意機構と、関連性の高い長期的嗜好を効果的に統合する長期間・短期間ゲート付き統合モジュールを組み合わせることで、動的なユーザーの嗜好を捉える順序付き深層マッチングモデルSDMを提案する。このモデルはオフラインデータセットで最先端の性能を達成し、タオバオのスケールの大きなレコメンドシステムに実際に導入され、重要な商業的指標の向上を実現した。

ABSTRACT

Capturing users' precise preferences is a fundamental problem in large-scale recommender system. Currently, item-based Collaborative Filtering (CF) methods are common matching approaches in industry. However, they are not effective to model dynamic and evolving preferences of users. In this paper, we propose a new sequential deep matching (SDM) model to capture users' dynamic preferences by combining short-term sessions and long-term behaviors. Compared with existing sequence-aware recommendation methods, we tackle the following two inherent problems in real-world applications: (1) there could exist multiple interest tendencies in one session. (2) long-term preferences may not be effectively fused with current session interests. Long-term behaviors are various and complex, hence those highly related to the short-term session should be kept for fusion. We propose to encode behavior sequences with two corresponding components: multi-head self-attention module to capture multiple types of interests and long-short term gated fusion module to incorporate long-term preferences. Successive items are recommended after matching between sequential user behavior vector and item embedding vectors. Offline experiments on real-world datasets show the superior performance of the proposed SDM. Moreover, SDM has been successfully deployed on online large-scale recommender system at Taobao and achieves improvements in terms of a range of commercial metrics.

研究の動機と目的

• 大規模レコメンデーションシステムにおける動的かつ変化するユーザー嗜好を捉えるために、静的アイテムベースの協調フィルタリングの限界を克服すること。
• 従来の単一注目メカニズムでは捉えきれない、1つの短時間セッション内での複数の関心傾向をモデル化すること。
• 現在の短時間セッションの関心と関連性の高い長期的嗜好のみに焦点を当て、効果的に統合することで、長期的嗜好と現在のセッション行動を融合すること。
• 実世界の産業応用において推薦精度と商業的指標を向上させることを目的とした、スケーラブルでオンライン導入可能なマッチングモデルを設計すること。
• 短時間セッションの表現に悪影響を及げるノイズや関連性のない長期的行動の影響を軽減すること。

提案手法

• 1つの短時間セッション内での多様なユーザー関心をモデル化するために、マルチヘッド自己注意機構を用い、同時に異なる側面（例：ジャンル、ブランド、スタイル）に注目できるようにする。
• 関連性の高い長期的ユーザー行動のみに注目して統合する長期間・短期間ゲート付き統合モジュールを採用し、現在の短時間セッション表現と効果的に融合する。
• 時間的依存関係を捉えるために、短時間セッション内のユーザー行動を双方向LSTMで符号化する。
• 最終的なLSTM隠れ状態をクエリとして用い、過去のセッションアイテムに対して注目重みを計算するクエリベースのマルチヘッド注目を適用する。
• 関連性に応じて長期的嗜好の寄与度を動的に制御する学習可能なゲートメカニズムを採用する。
• 最終的なユーザー表現（短時間および長期的行動から統合されたもの）とアイテム埋め込みベクトルの間でマッチングを行い、アイテムをランク付けして推薦する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、1つの短時間ショッピングセッション内に共存する複数のユーザー関心を、どのように効果的に捉えることができるか？
• RQ2 長期的ユーザー嗜好と現在のセッション行動を統合する最適な方法は何か？ これにより推薦精度がどのように向上するか？
• RQ3 マルチヘッド自己注意機構の導入により、単一注目またはRNNオンリーモデルと比較して、動的ユーザー嗜好のモデル化がどの程度改善されるか？
• RQ4 現在のセッションに最も関連性の高い長期的行動のみを選択的に統合する方法は、単純な連結や加算と比較して、どの程度優れているか？
• RQ5 オンライン導入に適した順序付き深層マッチングモデルは、実世界の商業的指標において、実際に測定可能な改善を達成できるか？

主な発見

• 提案されたSDMモデルは、オフラインのタオバオデータセットでHitRate@100が70.72%を達成し、単純な統合メカニズムを用いたベースラインモデルを上回った。
• 4つの注目ヘッドを用いることで最良の性能が得られ、ヘッド数を4つを超えて増やすと、1ヘッドあたりの表現能力が低下するため性能が劣化した。
• ゲート付き統合モジュールは、連結、加算、要素ごとの乗算といった単純な統合手法を著しく上回り、F1@100スコアで2.93%の向上を達成した。
• 可視化により、異なる注目ヘッドが異なるユーザー関心（例：ホワイトダウンジャケット、ジーンズ、スカート）に注目していることが確認され、モデルが複数の関心を効果的に捉えていることが裏付けられた。
• 現在のセッション行動と関連性の高い長期的嗜好を統合することで、『チャンピオングラス』 や『レッドワインデカンタ』 といった関連性の高いアイテムを効果的に推薦でき、文脈的に関連するアイテムに注目できることを実証した。
• SDMはタオバオの本番レコメンデーションシステムに導入され、重要な商業的指標に測定可能な改善をもたらした。これにより、実世界での有効性が確認された。