[論文レビュー] Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction

Qi Pi, Xiaoqiang Zhu+6 more|arXiv (Cornell University)|Jun 10, 2020

Recommender Systems and Techniques参考文献 20被引用数 5

ひとこと要約

本稿では、生涯にわたる順序付きユーザ行動（最大54,000件のインタラクション）から関連する部分列を抽出する一般検索ユニットを用いる2段階フレームワーク、検索ベースの関心モデリング（SIM）を提案する。その後、正確なユーザ-アイテム関心をモデリングするための正確検索ユニットを実装する。SIMはアリババの実世界のディスプレイ広告システムで7.1%のCTR向上と4.4%のRPM向上を達成し、長期間にわたる関心モデリングにおいて従来手法を大きく上回りながら、低レイテンシーを維持している。

ABSTRACT

Rich user behavior data has been proven to be of great value for click-through rate prediction tasks, especially in industrial applications such as recommender systems and online advertising. Both industry and academy have paid much attention to this topic and propose different approaches to modeling with long sequential user behavior data. Among them, memory network based model MIMN proposed by Alibaba, achieves SOTA with the co-design of both learning algorithm and serving system. MIMN is the first industrial solution that can model sequential user behavior data with length scaling up to 1000. However, MIMN fails to precisely capture user interests given a specific candidate item when the length of user behavior sequence increases further, say, by 10 times or more. This challenge exists widely in previously proposed approaches. In this paper, we tackle this problem by designing a new modeling paradigm, which we name as Search-based Interest Model (SIM). SIM extracts user interests with two cascaded search units: (i) General Search Unit acts as a general search from the raw and arbitrary long sequential behavior data, with query information from candidate item, and gets a Sub user Behavior Sequence which is relevant to candidate item; (ii) Exact Search Unit models the precise relationship between candidate item and SBS. This cascaded search paradigm enables SIM with a better ability to model lifelong sequential behavior data in both scalability and accuracy. Apart from the learning algorithm, we also introduce our hands-on experience on how to implement SIM in large scale industrial systems. Since 2019, SIM has been deployed in the display advertising system in Alibaba, bringing 7.1\% CTR and 4.4\% RPM lift, which is significant to the business. Serving the main traffic in our real system now, SIM models user behavior data with maximum length reaching up to 54000, pushing SOTA to 54x.

研究の動機と目的

• 産業的CTR予測システムにおいて、1,000件を超えるインタラクションを含む極めて長い順序付きユーザ行動データをモデリングする課題に対処すること。
• 推論レイテンシーを損なわず、システムのスケーラビリティを維持しながら、長期的関心モデリングの正確性を向上させること。
• 膨大なユーザ行動シーケンスを扱うリアルタイムサービングシステムにおいて、効率的でスケーラブルかつ正確なユーザ関心モデリングを可能にすること。
• 長期間にわたるシーケンスにおける無関係な行動からのノイズを低減しつつ、意味のある長期的ユーザ好みを保持すること。

提案手法

• 一般検索ユニット（GSU）は、候補アイテムの特徴を用いて、入力のままの任意長のユーザ行動シーケンスに対して軽量でクエリに依存した検索を実行し、約200件の関連行動からなる部分列（SBS）にフィルタリングする。
• 正確検索ユニット（ESU）は、DIENやDINに類似したアテンション機構を用いて、候補アイテムとフィルタリングされたSBS間の精密な相互作用をモデリングする。
• 段階的な検索設計により、長期間シーケンスのフィルタリングと細粒度の関心モデリングが分離され、スケーラビリティと正確性のトレードオフが可能になる。
• 2段階のオフラインインデキシングシステムにより、ユーザIDおよびインタラクションカテゴリごとにユーザ行動データを整理し、オンラインリクエストトラフィックを削減し、効率的なリトリーブを可能にする。
• ESUにおけるマルチヘッドアテンションは、深いカーネル統合により最適化され、推論レイテンシーを低く保つ。
• モデルはアリババのリアルタイムCTR予測システムにデプロイされており、最大54,000ステップのシーケンスを処理するが、切り詰められたベースラインと比較してわずか5msの追加レイテンシーにとどまっている。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム産業的システムにおいて、最大54,000件の長さのユーザ行動シーケンスをスケーラブルかつ正確にモデリングできる手法を設計できるか？
• RQ2 長期間にわたる順序付き行動データにおける不要なノイズを効果的にフィルタリングしつつ、長期的ユーザ関心を保持できるか？
• RQ3 固定サイズのメモリネットワークよりも、段階的な検索メカニズムが多様で文脈に特化したユーザ関心を効果的に捉えられるか？
• RQ4 MIMN や DIEN といった既存の最先端手法と比較して、モデルが長期的関心モデリングをどの程度向上できるか？

主な発見

• 2020年1月7日から2月7日までのオンラインA/Bテストにおいて、SIMはMIMNと比較してCTRが7.1%向上、RPMが4.4%向上した。
• 平均して、最後に同じカテゴリの行動をとった日数（Days till Last Same Category Behavior）は、DIENの11.2からSIMの13.3に上昇し、長期的ユーザ関心のモデリングが強化されたことを示している。
• ターゲットアイテムのカテゴリで過去に行動をとった確率は、DIENの0.91からSIMの0.94に上昇し、長期的好みの捕捉が向上したことを確認した。
• SIMは54,000ステップというMIMNの1,000ステップの54倍の長さのユーザ行動シーケンスにスケーリングでき、レイテンシーの著しい増加なしに実現した。
• 10,000件以上のステップを含むシーケンスを処理する際、MIMNの切り詰められた1,000ステップシーケンスと比較して、わずか5msのレイテンシー超過にとどまり、推論レイテンシーが低く維持された。
• 2段階のインデキシングシステムにより、オンラインリクエストトラフィックが削減され、効率的なリトリーブが可能になり、1秒間に100万人を超えるユーザーの高スループットサービスをサポートした。