[論文レビュー] Deep Interest Evolution Network for Click-Through Rate Prediction

Guorui Zhou, Na Mou+6 more|arXiv (Cornell University)|Sep 11, 2018

Recommender Systems and Techniques被引用数 68

ひとこと要約

DIENは補助監督付きの興味抽出機構と、AUGRUを用いた興味の進化レイヤーを導入し、ターゲットアイテムに対する興味の進化を捉えることで、最先端のCTR予測を達成し、オンライン上で顕著な改善をもたらす。

ABSTRACT

Click-through rate~(CTR) prediction, whose goal is to estimate the probability of the user clicks, has become one of the core tasks in advertising systems. For CTR prediction model, it is necessary to capture the latent user interest behind the user behavior data. Besides, considering the changing of the external environment and the internal cognition, user interest evolves over time dynamically. There are several CTR prediction methods for interest modeling, while most of them regard the representation of behavior as the interest directly, and lack specially modeling for latent interest behind the concrete behavior. Moreover, few work consider the changing trend of interest. In this paper, we propose a novel model, named Deep Interest Evolution Network~(DIEN), for CTR prediction. Specifically, we design interest extractor layer to capture temporal interests from history behavior sequence. At this layer, we introduce an auxiliary loss to supervise interest extracting at each step. As user interests are diverse, especially in the e-commerce system, we propose interest evolving layer to capture interest evolving process that is relative to the target item. At interest evolving layer, attention mechanism is embedded into the sequential structure novelly, and the effects of relative interests are strengthened during interest evolution. In the experiments on both public and industrial datasets, DIEN significantly outperforms the state-of-the-art solutions. Notably, DIEN has been deployed in the display advertisement system of Taobao, and obtained 20.7\% improvement on CTR.

研究の動機と目的

• explicitな行動の背後にある潜在で進化する興味をモデル化してCTR予測を改善する動機。
• 歴史的行動から表現力のある潜在な興味を抽出する専用の興味抽出機を提案。
• ターゲットアイテムに関連する興味のダイナミックな進化をモデル化する。
• 公開データセットと産業データでの有効性を示し、オンライン展開を含む。
• 補助監督とAUGRUが表現と予測を改善することを示す。

提案手法

• GRUベースの興味抽出機を用いてユーザ行動系列の時系列依存を捉える。
• 次の行動情報で隠れ状態を監督する補助損失を導入し、潜在的興味を豊かにする。
• ターゲットアイテムに対する進化をモデル化する興味進化レイヤを提案し、注意機構を用いて影響を調整する。
• 歴史的興味とターゲットアイテム埋め込みの関連性を計算するために注意機構a_tを組み込み、GRUを注意付き更新ゲート（AUGRU）で拡張する。
• ターゲットCTR損失と補助損失を組み合わせて訓練し、パラメータalphaでバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 履歴から抽出された潜在的な興味は、直接の行動表現を超えてCTRを改善できるか。
• RQ2 ターゲットアイテムに対する興味の進化をモデル化することは、CTR予測と興味の漂移に対する頑健性を高めるか。
• RQ3 GRU隠れ状態の補助監督が興味表現の品質を高めるか。
• RQ4 AUGRUは他の注意・GRU系変種と比べて進化するユーザ関心の把握においてどうか。
• RQ5 DIENを大規模広告システムに展開した際の実オンライン性能の実用的な利得はどれくらいか。

主な発見

モデル	Electronics (AUC)	Books (AUC)	Industrial (AUC)
BaseModel	0.7435±0.00128	0.7686±0.00253	0.6350
Wide&Deep	0.7456±0.00127	0.7735±0.00051	0.6362
PNN	0.7543±0.00101	0.7799±0.00181	0.6353
DIN	0.7603±0.00028	0.7880±0.00216	0.6428
Two layer GRU Attention	0.7605±0.00059	0.7890±0.00268	0.6457
DIEN	0.7792±0.00243	0.8453±0.00476	0.6541

• DIENは公開データセットの electronics と books でベースラインより高いAUCを達成（Electronics: 0.7792 vs 0.7435、Books: 0.8453 vs 0.7686）。
• 産業データセットでもDINおよびGRU系変種を上回るAUC 0.6541を達成。
• AUGRUベースの興味進化はAIGRUおよびAGRU系よりCTR予測を大きく改善。
• 補助損失は興味表現と埋め込み学習を改善し、公開データでの利益が見られ、産業データでの利益は比較的小さいものの顕著。
• Taobaoディスプレイ広告へのオンライン展開では、BaseModelよりCTRが20.7%向上、eCPMが17.1%向上（実世界への影響を示唆）。
• 可視化とアブレーション研究は、AUGRUがターゲットアイテム周辺の進化する興味を効果的に集中させ、興味漂移の干渉を低減することを示す。