[論文レビュー] Kalman Filtering Attention for User Behavior Modeling in CTR Prediction

Hu Liu, Jing Lu+9 more|arXiv (Cornell University)|Oct 2, 2020

Recommender Systems and Techniques参考文献 28被引用数 9

ひとこと要約

本稿では、重み付きプーリングを最大後験確率（MAP）推定として扱うことで、ユーザー行動をモデル化する新規アテンションメカニズム「カルマンフィルタリングアテンション（KFAtt）」を提案する。グローバルな事前分布と頻度カッピングを組み合わせることで、従来のアテンションの制限（限定された注目フィールドと頻度の高い行動へのバイアス）を克服し、JD.comの100億スケールの本番データセットでオンラインA/BテストにおいてCTRを4.4%向上させた。

ABSTRACT

Click-through rate (CTR) prediction is one of the fundamental tasks for e-commerce search engines. As search becomes more personalized, it is necessary to capture the user interest from rich behavior data. Existing user behavior modeling algorithms develop different attention mechanisms to emphasize query-relevant behaviors and suppress irrelevant ones. Despite being extensively studied, these attentions still suffer from two limitations. First, conventional attentions mostly limit the attention field only to a single user's behaviors, which is not suitable in e-commerce where users often hunt for new demands that are irrelevant to any historical behaviors. Second, these attentions are usually biased towards frequent behaviors, which is unreasonable since high frequency does not necessarily indicate great importance. To tackle the two limitations, we propose a novel attention mechanism, termed Kalman Filtering Attention (KFAtt), that considers the weighted pooling in attention as a maximum a posteriori (MAP) estimation. By incorporating a priori, KFAtt resorts to global statistics when few user behaviors are relevant. Moreover, a frequency capping mechanism is incorporated to correct the bias towards frequent behaviors. Offline experiments on both benchmark and a 10 billion scale real production dataset, together with an Online A/B test, show that KFAtt outperforms all compared state-of-the-arts. KFAtt has been deployed in the ranking system of a leading e commerce website, serving the main traffic of hundreds of millions of active users everyday.

研究の動機と目的

• 従来のアテンションメカニズムが単一ユーザーの履歴行動に注目を限定するという制限を是し、ユーザーが新しい関連のない要件を検索する場合に失敗することを是正すること。
• 既存のアテンションメカニズムが頻度の高い行動にバイアスを示す問題を是正し、まれだが関連性の高いクエリが埋もれてしまうのを防ぐこと。
• グローバル統計と頻度カッピングを活用する理論的根拠に基づいたアテンションメカニズムを構築し、より強固なユーザー関心モデリングを実現すること。
• 産業スケールのオンラインCTR予測システムに適した、効率的で低レイテンシの行動モデリングモジュールを設計すること。

提案手法

• KFAttは、ユーザー行動履歴を未観測のユーザー関心のノイズ混じりの測定値として扱い、ユーザー関心推定をMAP問題として定式化する。
• KFAtt-baseバージョンは、関連する行動が少ない場合に予測を安定化させるためにグローバル事前分布を導入し、低データ状況下でもバイアスのない推定を可能にする。
• KFAtt-freq拡張は、同じクエリの下での行動を1つのセンサーからの繰り返し測定としてモデル化し、頻度カッピングを適用して高頻度クエリへのバイアスを是正する。
• MAP定式化におけるシステム誤差分散をクエリ頻度と行動関連性に基づいて調整することで、動的かつ適応的な注目重み付けを実現する。
• 2段階の行動モデリングモジュールを提案：シーケンスモデリングにTransformerエンコーダーを、ターゲット固有の関心抽出にKFAttデコーダーを用いる。
• KFAttベースのモジュールは低レイテンシ推論を最適化しており、DINやTransformerと同等のパフォーマンスを達成するとともに、精度面でそれらを上回った。

実験結果

リサーチクエスチョン

• RQ1 履歴行動が希少または関連性が低い状況下でも、アテンションメカニズムにグローバル事前分布を組み込むことで、ユーザー関心推定が向上するか？
• RQ2 アテンションメカニズムに頻度カッピングを適用することで、ユーザー行動モデリングにおける高頻度で不適切なクエリへのバイアスが低減されるか？
• RQ3 カルマンフィルタリングによる重み付きプーリングのMAP定式化は、標準的なアテンションメカニズムを上回るCTR予測性能を示すか？
• RQ4 KFAttは、高速なトラフィックと厳しいレイテンシ制約が課される実世界の産業スケールの環境で、どのように性能を発揮するか？

主な発見

• KFAtt-freqはJD.comの本番システムでオンラインA/Bテストにおいて4.4%のCTR向上を達成し、年間広告収益が0.1億ドル増加した。
• 100億スケールの実データセット上では、KFAtt-trans-freqがTransformerや他のベースラインをすべて上回り、ベースモデル比でAUCを0.017向上させた。
• オフライン実験では、KFAtt-trans-freqが本番データセットで最高のAUC（0.766）を達成し、和集合プーリング（0.749）や他の最先端モデルを大きく上回った。
• KFAttベースのモジュールは低レイテンシを維持しており、TP99レイテンシがDINやTransformerと同等であり、DIENよりも顕著に低く、本番環境での利用に適していた。
• KFAttをヴァナイルモデル、DIN、Transformerのアテンションメカニズムに統合することで一貫して性能向上が得られ、その高い適合性を裏付けた。
• 本手法は、実際のECシステムで一般的な新規・希少クエリにおけるパフォーマンス劣化を効果的に緩和した。