[論文レビュー] User Response Prediction in Online Advertising

Zhabiz Gharibshah, Xingquan Zhu|arXiv (Cornell University)|Jan 7, 2021

Recommender Systems and Techniques参考文献 192被引用数 9

ひとこと要約

本調査は、オンライン広告におけるユーザー反応予測のための機械学習およびディープラーニング手法について、包括的な分類体系を提示する。プラットフォーム、関係者、データタイプ、技術的アプローチをカバーする。最新のモデル、ベンチマークデータセット、オープンソース実装をレビューし、クリックスルーレート（CTR）予測およびユーザー行動モデリング分野における産業界および学術研究の支援を目的とする。

ABSTRACT

Online advertising, as the vast market, has gained significant attention in various platforms ranging from search engines, third-party websites, social media, and mobile apps. The prosperity of online campaigns is a challenge in online marketing and is usually evaluated by user response through different metrics, such as clicks on advertisement (ad) creatives, subscriptions to products, purchases of items, or explicit user feedback through online surveys. Recent years have witnessed a significant increase in the number of studies using computational approaches, including machine learning methods, for user response prediction. However, existing literature mainly focuses on algorithmic-driven designs to solve specific challenges, and no comprehensive review exists to answer many important questions. What are the parties involved in the online digital advertising eco-systems? What type of data are available for user response prediction? How to predict user response in a reliable and/or transparent way? In this survey, we provide a comprehensive review of user response prediction in online advertising and related recommender applications. Our essential goal is to provide a thorough understanding of online advertising platforms, stakeholders, data availability, and typical ways of user response prediction. We propose a taxonomy to categorize state-of-the-art user response prediction methods, primarily focus on the current progress of machine learning methods used in different online platforms. In addition, we also review applications of user response prediction, benchmark datasets, and open-source codes in the field.

研究の動機と目的

• 広告エコシステムの体系的かつ包括的理解を提供すること。具体的には、広告主、パブリッシャー、プラットフォームなどの主要関係者を含む。
• 異なる広告プラットフォームにおけるユーザー反応予測に用いられるデータおよび特徴量の種別を特定・分類すること。
• クリック、コンversions、購入などのユーザー反応を予測するための最先端の機械学習およびディープラーニング手法の構造的分類体系を構築すること。
• 実用的な産業応用、ベンチマークデータセット、オープンソース実装をレビューし、再現可能性およびさらなる研究を支援すること。
• 実際の展開におけるユーザー反応予測システムの信頼性、透明性、スケーラビリティに関する重要な課題を提示すること。

提案手法

• モデルアーキテクチャに基づいてユーザー反応予測手法を分類する分類体系を提案。因子分解機械（FM）、ディープニューラルネットワーク（DNN）、グラフニューラルネットワーク（GNN）、ハイブリッドモデルを含む。
• DeepFM、DIN、DIEN、PIN、DCN_V2 などの代表的モデルをレビュー。ユーザーとアイテムの相互作用およびユーザーの関心の進化を学習するメカニズムに焦点を当てる。
• スケーラビリティを確保するための技術として、特徴ハッシュ、モデル並列処理、分散学習を活用した大規模産業システム（例：FacebookのFBCTR、EtsyのEtsyCTR、GoogleのDCN_V2）を分析。
• ユーザー・アイテム相互作用グラフを活用して表現学習を向上させるグラフベースのモデル（例：PinSage、RippleNet）を検討。
• 協調フィルタリング、コンテンツベース特徴、アテンションメカニズムを統合したハイブリッドアプローチを提示。動的ユーザー嗜好のモデリングを可能にする。
• 長期間のユーザー行動履歴を扱う技術として、メモリネットワーク（MIMN、SIM）および自己アテンションモジュールによる行動リtrievalおよび関連性スコアリングを評価。

Figure 1. Advertising Eco-system. From left to right, a process is triggered when users start to interact with online services through either visiting a web-page, searching an item, or checking the social media in publisher website. In the case that the web-page has web placement available, the publ

実験結果

リサーチクエスチョン

• RQ1 オンライン広告エコシステムにおける主要な構成要素および関係者とは何か。また、それらはユーザー反応予測においてどのように連携しているか。
• RQ2 検索広告、ディスプレイ広告、インアプリ広告など、異なる広告プラットフォームで利用可能なデータおよび特徴量の種別は何か。
• RQ3 現代の機械学習およびディープラーニングモデルは、クリックスルーレート（CTR）およびコンversions予測の精度と効率性をどのように向上させているか。
• RQ4 大規模に展開するユーザー反応予測モデルにおける主な技術的課題は何か。産業界のシステムではそれらをどのように解決しているか。
• RQ5 ハイブリッドモデルおよびグラフベースのモデルは、従来の手法と比較して、ユーザー関心モデリングおよび長期的行動理解をどのように向上させているか。

主な発見

• 本調査では、ユーザー反応予測が主にクリックスルーレート（CTR）推定として定式化されていることが判明。ディープラーニングモデルは、従来手法に比べて精度と適応性の面で顕著に優れている。
• PinSage や RippleNet などのグラフニューラルネットワーク（GNN）は、特にレコメンデーション広告およびディスプレイ広告分野で、複雑なユーザー・アイテム相互作用グラフをモデル化することで性能を向上させている。
• FacebookのFBCTR や GoogleのDCN_V2 などの産業用システムは、サブサンプリング、モデル並列処理、パラメータ共有などの技術を活用することで、高いスケーラビリティを達成しており、リアルタイム推論を可能としている。
• DIEN や SIM などのモデルは、アテンション機構およびメモリネットワークを組み込むことで、進化するユーザー関心および長期間の行動履歴を捉え、動的ユーザープロファイルの予測性能を向上させている。
• DeepFM や PIN などのハイブリッドモデルは、因子分解機械とディープニューラルネットワークを統合し、低次および高次特徴相互作用を効果的に学習することで、ベンチマークデータセットで最先端の性能を達成している。
• 本調査では、オープンソース実装およびベンチマークデータセット（例：Criteo、Avazu、MovieLens）が、分野における再現可能性および進展を支える重要な要因であると強調している。PyTorch や Caffe2 といったツールは、モデルのデプロイメントにおいて広く使用されている。

Figure 2. The schema of user response prediction workflow. Embedding layer is the common paradigm to deal with high dimensional binary representation in user response prediction. They can either be set by pre-defined values or be trained as internal parameters in end-to-end models like deep learning