[論文レビュー] Unbiased Lift-based Bidding System

Daisuke Moriwaki, Yuta Hayakawa+3 more|arXiv (Cornell University)|Jul 8, 2020

Smart Parking Systems Research参考文献 13被引用数 4

ひとこと要約

本論文では、偏った歴史的ログデータからの広告インプレッションの因果的リフト効果を正確に予測することで、広告主の利益を向上させる、バイアスのないリフトに基づく入札システムを提案する。インバースプロパティスティックスコアリングを用いてインプレッションバイアスを補正することで、効率的で低コストな入札が可能となり、実世界のA/Bテストにおいて、従来のパフォーマンスベースの戦略を上回り、インプレッション単価を24–30%低減しながら、カバレッジとコンversionsを増加させた。

ABSTRACT

Conventional bidding strategies for online display ad auction heavily relies on observed performance indicators such as clicks or conversions. A bidding strategy naively pursuing these easily observable metrics, however, fails to optimize the profitability of the advertisers. Rather, the bidding strategy that leads to the maximum revenue is a strategy pursuing the performance lift of showing ads to a specific user. Therefore, it is essential to predict the lift-effect of showing ads to each user on their target variables from observed log data. However, there is a difficulty in predicting the lift-effect, as the training data gathered by a past bidding strategy may have a strong bias towards the winning impressions. In this study, we develop Unbiased Lift-based Bidding System, which maximizes the advertisers' profit by accurately predicting the lift-effect from biased log data. Our system is the first to enable high-performing lift-based bidding strategy by theoretically alleviating the inherent bias in the log. Real-world, large-scale A/B testing successfully demonstrates the superiority and practicability of the proposed system.

研究の動機と目的

• クリックやコンバージョンなどの観察された指標を最適化する従来の入札戦略が、ユーザーのベースラインコンバージョン確率を無視するため、性能が最適でない問題に対処すること。
• 過去の入札戦略が高入札インプレッションを優遇するため、訓練データに内在するバイアスを解消すること。このバイアスは、未確認のオークションへのモデル一般化を歪める。
• 偏ったログデータのみを用いても、広告露出の真のリフト効果（すなわち、広告がユーザー行動に与える因果的影響）を理論的に裏付けられた方法で予測する手法を開発すること。
• バイアスのないリフト予測を活用して、広告主利益を最大化するとともにインプレッション単価を最小限に抑える、スケーラブルで本番環境対応の入札システムを設計・実装すること。

提案手法

• システムは、過去のオークションにおける選択確率に応じてサンプルを再重み付けすることで、インプレッションバイアスを是正するインバースプロパティスティックスコアリング（IPS）を採用し、訓練データをデバイアス化する。
• 再重み付けされたデータ上で機械学習モデルを学習させ、仮説的結果（すなわち、広告がない場合のユーザーのコンバージョン確率）を予測することで、真のリフト効果を推定する。
• リフト効果は、広告ありの予測コンバージョン確率とない場合の差として定義され、広告の因果的影響を推定する。
• 入札戦略は予測されたリフト効果に基づいて価格を設定し、広告のおかげでのみコンバージョンする可能性が高いユーザーを優先することで、インクリメンタルな価値を最大化する。
• スケーラブルで実用的な実装を確保するため、scikit-learn や XGBoost といった標準的な機械学習ライブラリを採用している。
• アーキテクチャはリアルタイム推論をサポートし、既存のDSPワークフローと統合可能で、スケーラブルで低遅延な入札意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 広告の因果的影響（リフト効果）を予測した入札戦略が、実世界のオンライン広告において、従来のパフォーマンスベースの戦略を上回るか？
• RQ2 インバースプロパティスティックスコアリングは、過去の入札戦略によるバイアスが生じた歴史的広告インプレッションログのバイアスをどの程度是正できるか？
• RQ3 大規模なA/Bテストにおいて、提案されたシステムはパフォーマンスベースの入札戦略と比較して、コスト効率、カバレッジ、コンversionレートの観点でどの程度のパフォーマンスを示すか？
• RQ4 リフトベースのシステムは、競合が減り、勝率が高いため、より安定的で低い入札価格を達成するか？

主な発見

• リフトベースの入札システムは、パフォーマンスベースの戦略と比較して、1ユーザーあたりのインプレッションが28%多く、リーチレートが71%高いことから、より優れたオーディエンスターゲティング効率を示した。
• クリック数は46%も減ったが、ストア訪問数は0.9%多く、訪問者シェアは0.4%高い結果となり、より強い実世界のコンバージョンインパクトを示した。
• システムはインプレッション単価、リーチ単価、訪問単価を、パフォーマンスベースの戦略の24–30%まで低減させ、顕著なコスト効率の向上を実証した。
• リフトベースのシステムでは、平均で10倍も低い入札価格であり、特にピークオークション時間帯において、パフォーマンスベースのシステムよりも著しく変動が少なかった。
• パフォーマンスベースのシステムは、攻撃的なペーシングと頻繁なオークション敗北により高いボラティリティを示したが、リフトベースのシステムは、競合が少なく、勝率が高いため、安定的で低い入札価格を維持した。
• オンラインA/Bテストにより、システムのスケーラビリティと実用性が確認され、実世界のDSP展開において、主要なビジネスKPIで一貫した優位性を示した。