[論文レビュー] Deep Session Interest Network for Click-Through Rate Prediction

Yufei Feng, Fuyu Lv+5 more|arXiv (Cornell University)|May 16, 2019

Recommender Systems and Techniques参考文献 19被引用数 39

ひとこと要約

DSINはユーザー行動を複数の歴史セッションとしてモデル化し、各セッションの関心を自己注意機構で抽出し、Bi-LSTMでその進化をモデル化し、局所活性化ユニットで集約してCTRを予測する。

ABSTRACT

Click-Through Rate (CTR) prediction plays an important role in many industrial applications, such as online advertising and recommender systems. How to capture users' dynamic and evolving interests from their behavior sequences remains a continuous research topic in the CTR prediction. However, most existing studies overlook the intrinsic structure of the sequences: the sequences are composed of sessions, where sessions are user behaviors separated by their occurring time. We observe that user behaviors are highly homogeneous in each session, and heterogeneous cross sessions. Based on this observation, we propose a novel CTR model named Deep Session Interest Network (DSIN) that leverages users' multiple historical sessions in their behavior sequences. We first use self-attention mechanism with bias encoding to extract users' interests in each session. Then we apply Bi-LSTM to model how users' interests evolve and interact among sessions. Finally, we employ the local activation unit to adaptively learn the influences of various session interests on the target item. Experiments are conducted on both advertising and production recommender datasets and DSIN outperforms other state-of-the-art models on both datasets.

研究の動機と目的

• ユーザー行動シーケンスはセッション内で同質、セッション間で異質な挙動から構成されることを強調する。
• CTR予測のために複数の歴史セッションを活用するDSINを提案する。
• バイアスエンコードを用いた自己注意でセッションレベルの関心を抽出する。
• セッション間の進化をBi-LSTMでモデル化してセッション関心の時系列関係を捉える。
• 最終予測前にローカル活性化ユニットでセッション関心を適応的に集約する。

提案手法

• ユーザーの行動シーケンスを時間差（30分ルール）に基づいてセッションに分割する。
• 偏りエンコードされた自己注意を適用してセッションごとの関心を抽出する。
• Bi-LSTMを用いてセッション関心間の時系列相互作用を捉える。
• ターゲットアイテムに対してセッション関心を適応的に重み付けする局所活性化ユニットを用いる。
• セッション対応の表現をユーザー/アイテム埋め込みと連結し、CTRを予測するMLPに通す。

実験結果

リサーチクエスチョン

• RQ1 複数の歴史セッションをセッションレベル注意機構で活用することは、単一シーケンスモデルよりCTR予測を改善するのか？
• RQ2 セッション間の進化とセッション関心の適応的集約は予測性能を向上させるのか？
• RQ3 バイアスエンコードとセッション相互作用モデリングはCTRの精度にどのように寄与するのか？

主な発見

Model	Advertising AUC	Recommender AUC
YoutubeNet-NO-UB a	0.6239	0.6419
YoutubeNet	0.6313	0.6425
DIN-RNN	0.6319	0.6435
Wide&Deep	0.6326	0.6432
DIN	0.6330	0.6459
DIEN	0.6343	0.6473
DSIN-PE b	0.6357	0.6494
DSIN-BE-NO-SIIL c	0.6365	0.6499
DSIN-BE d	0.6375	0.6515

• DSINは広告データセットとレコメンダー系データセットの両方で、ベースラインより最良のAUCを達成する。
• 複数セッションを取り入れ、その進化をモデリングすることで、DIN/DIENのような単一セッションモデルより性能が向上する。
• バイアスエンコードとセッション相互作用層はDSINの有効性を大幅に高める。
• 局所活性化ユニットはターゲットアイテムに対するセッション関心の適応的重み付けを提供する。