[論文レビュー] MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction

Wentao Ouyang, Xiuwu Zhang+6 more|arXiv (Cornell University)|Aug 7, 2020

Image and Video Quality Assessment参考文献 36被引用数 5

ひとこと要約

MiNetは、混合兴趣ネットワークを提案し、複数のドメインにまたがる長期的ユーザー興味、ソースドメイン（ニュース）からの短期的興味、およびターゲットドメイン（広告）における短期的興味を統合的にモデリングすることで、クロスドメインのクリック率（CTR）予測を実現する。2段階のアテンション機構（アイテムレベルおよび興味レベル）を用い、これらの信号を適応的に統合し、オフライン評価では最先端の性能を達成するとともに、UC ToutiaoにおけるA/Bテストでは顕著なオンラインCTR向上を実現した。

ABSTRACT

Click-through rate (CTR) prediction is a critical task in online advertising systems. Existing works mainly address the single-domain CTR prediction problem and model aspects such as feature interaction, user behavior history and contextual information. Nevertheless, ads are usually displayed with natural content, which offers an opportunity for cross-domain CTR prediction. In this paper, we address this problem and leverage auxiliary data from a source domain to improve the CTR prediction performance of a target domain. Our study is based on UC Toutiao (a news feed service integrated with the UC Browser App, serving hundreds of millions of users daily), where the source domain is the news and the target domain is the ad. In order to effectively leverage news data for predicting CTRs of ads, we propose the Mixed Interest Network (MiNet) which jointly models three types of user interest: 1) long-term interest across domains, 2) short-term interest from the source domain and 3) short-term interest in the target domain. MiNet contains two levels of attentions, where the item-level attention can adaptively distill useful information from clicked news / ads and the interest-level attention can adaptively fuse different interest representations. Offline experiments show that MiNet outperforms several state-of-the-art methods for CTR prediction. We have deployed MiNet in UC Toutiao and the A/B test results show that the online CTR is also improved substantially. MiNet now serves the main ad traffic in UC Toutiao.

研究の動機と目的

• ソースドメインからの補助データを活用することで、ターゲットドメインにおけるCTR予測のデータスパarsityとコールドスタート問題に取り組む。
• ニュース閲覧行動から得られる知識を広告クリック予測に転送することで、オンライン広告におけるCTR予測性能を向上させる。
• 長期的（複数ドメインにまたがる）、ソースドメイン（ニュース）からの短期的、およびターゲットドメイン（広告）における短期的の3種類のユーザー興味をモデリングする。
• ターゲット広告に対する関連性に基づいて、複数の興味表現を適応的に統合するニューラルネットワークアーキテクチャを開発する。
• 異なる興味タイプの重要度がターゲット広告に応じて変化することを考慮しつつ、効果的なクロスドメイン知識転送を可能にする。

提案手法

• 長期的、ソースドメインの短期的、ターゲットドメインの短期的の3種類のユーザー興味をエンコードする混合興味ネットワーク（MiNet）を提案する。
• 最近クリックされたニュースおよび広告から顕著な特徴を動的に抽出するために、アイテムレベルのアテンションを適用する。
• ターゲット広告に対する関連性に基づいて、異なる興味表現の重みを学習するための興味レベルアテンションを実装する。
• ユーザープロファイル特徴の共有埋め込み層を用い、意味的に豊かなクロスドメインユーザー表現を学習する。
• ユーザー行動シーケンスおよびアイテム特徴を処理する深層ニューラルネットワークフレームワークにアテンション機構を統合する。
• 履歴ユーザー行動のクリック／非クリックラベルに基づくバイナリクロスエントロピー損失を用いて、モデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 長期的および二重の短期的ユーザー興味をモデリングすることで、単一ドメインベースラインを上回るクロスドメインCTR予測が可能になるか？
• RQ2 階層的アテンションは、CTR予測のための複数の興味表現を適応的に統合するのにどの程度有効か？
• RQ3 ソースドメイン（ニュース）からの補助データが、ターゲットドメイン（広告）におけるCTR予測性能をどの程度向上させられるか？
• RQ4 MiNetは、実世界のオンライン広告システムにおける多様な広告タイプおよびユーザー行動に一般化できるか？
• RQ5 提案されたモデルは、優れたオフライン性能に加え、実稼働環境での測定可能なオンライン利得を達成できるか？

主な発見

• UC Toutiaoデータセットにおけるオフライン評価で、MiNetは複数の最先端CTR予測モデルを上回り、優れた予測精度を示した。
• 2段階のアテンション機構は、異なるユーザー興味タイプからの関連信号を効果的に捉え、統合することで、モデルのロバスト性を向上させた。
• ニュースドメインのユーザー行動を活用することで、広告ドメインにおけるデータスパarsityおよびコールドスタート問題が顕著に軽減された。
• UC ToutiaoにおけるオンラインA/Bテストで、オンラインCTRが顕著に向上したことが確認され、モデルの実世界での有効性が裏付けられた。
• MiNetは生産環境にデプロイされており、現在UC Toutiaoの主要広告トラフィックを処理しており、スケーラビリティおよび信頼性の高さが裏付けられた。
• アブレーションスタディの結果、3つの興味タイプおよび2つのアテンション機構がすべて最終的なパフォーマンス向上に寄与していることが確認された。