[論文レビュー] Real-Time Bidding Benchmarking with iPinYou Dataset

Weinan Zhang, Shuai Yuan+2 more|arXiv (Cornell University)|Jul 25, 2014

Vehicle License Plate Recognition参考文献 17被引用数 78

ひとこと要約

本論文は、ディスプレイ広告におけるリアルタイム入札（RTB）のための、公開可能で大規模な実世界データセットとしてのiPinYou RTBデータセットを紹介する。これにより、入札最適化およびCTR推定のベンチマークが可能になる。標準化された評価プロトコルを提案し、複数の入札戦略およびCTRモデルを用いた包括的な統計的分析とベンチマーク実験を報告しており、計算広告分野における再現可能性の高い研究を顕著に前進させる。

ABSTRACT

Being an emerging paradigm for display advertising, Real-Time Bidding (RTB) drives the focus of the bidding strategy from context to users' interest by computing a bid for each impression in real time. The data mining work and particularly the bidding strategy development becomes crucial in this performance-driven business. However, researchers in computational advertising area have been suffering from lack of publicly available benchmark datasets, which are essential to compare different algorithms and systems. Fortunately, a leading Chinese advertising technology company iPinYou decided to release the dataset used in its global RTB algorithm competition in 2013. The dataset includes logs of ad auctions, bids, impressions, clicks, and final conversions. These logs reflect the market environment as well as form a complete path of users' responses from advertisers' perspective. This dataset directly supports the experiments of some important research problems such as bid optimisation and CTR estimation. To the best of our knowledge, this is the first publicly available dataset on RTB display advertising. Thus, they are valuable for reproducible research and understanding the whole RTB ecosystem. In this paper, we first provide the detailed statistical analysis of this dataset. Then we introduce the research problem of bid optimisation in RTB and the simple yet comprehensive evaluation protocol. Besides, a series of benchmark experiments are also conducted, including both click-through rate (CTR) estimation and bid optimisation.

研究の動機と目的

• ディスプレイ広告におけるリアルタイム入札（RTB）において、公開可能なベンチマークデータセットが著しく不足しているという重要な課題に応えること。
• DSP入札戦略のための標準化され包括的なオフライン評価プロトコルを提供すること。
• iPinYouの2013年グローバルアルゴリズムコンペティションから得た大規模かつ実世界のRTBデータセットを公開することで、再現可能な研究を可能にすること。
• 多様なベースラインアルゴリズムを用いて、CTR推定および入札最適化に関するベンチマーク実験を実施すること。
• 生産環境レベルのデータを容易に入手可能にすることで、計算広告分野における学術的・技術的研究開発を促進すること。

提案手法

• iPinYou RTBデータセットには、広告入札のログとして35 GBのデータが含まれており、これには入札要求、インプレッション、クリック、コンversions（コンversions）が含まれる。これらは実世界のRTB取引から収集されたものである。
• 評価プロトコルでは、KPIとしてクリック数の合計に加え、重み付けされたコンversions数を定義しており、異なるキャンペーンレベルにわたり予算制約を適用する。
• ベンチマークには、定数、ランダム、McPC-L、McPC-G、Lin-L、Lin-Gの複数の入札戦略が含まれており、それぞれCTRとCPC（1クリックあたりのコスト）推定に基づく異なる入札設定論理を持つ。
• CTR推定モデルは、入札意思決定を支援するため、データセットの文脈的および行動的特徴を用いて学習および評価される。
• 市場ダイナミクス、入札分布、ユーザー反応パターンを特徴付けるために、データセットの統計的分析が実施される。
• オフライン評価を用いて、さまざまな予算制限および入札戦略下でのキャンペーンパフォーマンスをシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 iPinYou RTBデータセットは、ディスプレイ広告における実世界の市場ダイナミクスをどの程度反映しているか？
• RQ2 異なる予算制約下で、さまざまな入札戦略（例：McPC、Lin、定数）のパフォーマンスはいかがなっているか？
• RQ3 提供された特徴を用いて、CTR推定モデルはユーザー反応をどの程度正確に予測できるか？
• RQ4 市場価格分布は、RTBにおける最適な入札行動にどのように影響を与えるか？
• RQ5 提案された評価プロトコルは、再現可能かつ信頼性のある方法で、異なる入札戦略を比較・順位付けできるか？

主な発見

• iPinYouデータセットには、入札要求、インプレッション、クリック、コンversionsを含む35 GBを超えるリアルタイム入札ログが含まれており、RTBエコシステムの包括的分析が可能である。
• 1/32の予算制限下で、Lin-G戦略が全広告主において最高のKPIスコア（クリックとコンversionsの合計で1,767）を達成した。
• 1/8の予算制限下で、McPC-G戦略が他の戦略を上回り、KPIが2,283に達した。これは、費用効率の高さを示している。
• 1/2の予算制限下で、Lin-G戦略は全予算レベルにおいて一貫して上位のパフォーマンスを示し、合計KPIが2,951に達した。
• データセットは、市場価格および入札分布に顕著な変動が存在することを明らかにした。これは、最適な入札のための価格ダイナミクスのモデリングの重要性を示している。
• ベンチマーク評価プロトコルは、異なる予算シナリオにおいて、入札戦略の公平かつ再現可能な比較を成功裏に可能にし、明確なパフォーマンス順位付けが得られた。