[論文レビュー] Randomization and The Pernicious Effects of Limited Budgets on Auction Experiments

Guillaume Basse, Hossein Azari Soufiani+1 more|arXiv (Cornell University)|May 30, 2016

Auction Theory and Applications参考文献 11被引用数 9

ひとこと要約

本稿は、オークション実験における（クエリ、広告主）ランダム化が、特に共同予算スロットリング下で、処置効果推定に深刻なバイアスをもたらす原因となる、処置群とコントロール群の bidder 間の干渉によるものであることを示している。クエリランダム化とスプリット予算割り当てが顕著にバイアスを低減し、広告オークション実験における入札およびスロットリング処置効果の不偏推定を可能にしている。

ABSTRACT

Buyers (e.g., advertisers) often have limited financial and processing resources, and so their participation in auctions is throttled. Changes to auctions may affect bids or throttling and any change may affect what winners pay. This paper shows that if an A/B experiment affects only bids, then the observed treatment effect is unbiased when all the bidders in an auction are randomly assigned to A or B but it can be severely biased otherwise, even in the absence of throttling. Experiments that affect throttling algorithms can also be badly biased, but the bias can be substantially reduced if the budget for each advertiser in the experiment is allocated to separate pots for the A and B arms of the experiment.

研究の動機と目的

• 広告オークションにおけるA/B実験のバイアスに及ぼすランダム化方式の影響を分析すること。
• 予算制約およびスロットリングメカニズムが処置効果推定に与える歪みの仕組みを特定すること。
• バイアスと分散の観点から、クエリランダム化と（クエリ、広告主）ランダム化の性能を比較すること。
• バイアス低減の観点から、スプリット予算割り当てとジョイント予算割り当ての有効性を評価すること。
• 現実の予算および処理制約下でも不偏なオークション実験を設計するための実用的ガイドラインを提供すること。

提案手法

• 著者らは、潜在的アウトカムを用いてオークション実験をモデル化し、各広告主について処置条件およびコントロール条件における潜在的入札額と支払い額を定義している。
• 2つのランダム化方式を導入している：クエリランダム化（全オークションが1つのグループに割り当てられる）と（クエリ、広告主）ランダム化（広告主が個別に割り当てられる）。
• 因果モデルを通じて干渉効果を形式化し、特に処置群とコントロール群の bidder 間の競争が観察されたアウトカムを歪めるメカニズムに焦点を当てている。
• ジョイントクォータおよびスプリットクォータ制度を定義しており、ジョイントクォータはすべての入札を1つの予算で統合するのに対し、スプリットクォータは各処置群に別個の予算を割り当てる。
• ログノーマル分布の入札分布と変動するスロットリング率を用いたシミュレーションを通じて、異なる実験設計におけるバイアスと分散を評価している。
• 相対的バイアスと平均二乗誤差（RMSE）を用いて処置効果推定の評価を行い、異なるランダム化およびクォータ方式における推定器を比較している。

実験結果

リサーチクエスチョン

• RQ1 （クエリ、広告主）ランダム化は、広告オークションにおける入札変更の処置効果推定にどのようにバイアスをもたらすか？
• RQ2 ジョイント予算割り当てとスプリット予算割り当ては、スロットリング実験における処置効果推定のバイアスにどのような影響を及ぼすか？
• RQ3 処置群とコントロール群の bidder 間の干渉は、オークション環境におけるA/Bテスト結果の妥当性にどのように影響するか？
• RQ4 クエリランダム化は（クエリ、広告主）ランダム化よりもより正確な処置効果推定をもたらすか？また、どのような条件下でそうなるか？
• RQ5 スプリット予算割り当ては、ジョイント予算スロットリング実験で観察される深刻なバイアスを解消できるか？

主な発見

• （クエリ、広告主）ランダム化下での処置効果推定の相対的バイアスは最大1.5に達し、クエリランダム化と比較して50%のバイアス増加を示している。
• 入札処置において、処置入札額がコントロール入札額より5%高い場合、スロットリング率が約66%の状況で、（クエリ、広告主）ランダム化下での推定器の分散はクエリランダム化下の6倍に達する。
• ジョイントクォータスロットリング下では、総収益の推定器の相対的バイアスが約-1に達し、真の処置効果に関わらず常にゼロを推定してしまう。
• スプリットクォータ割り当てはバイアスを顕著に低減し、理論的条件が満たされない場合でも相対的バイアスがほぼゼロに近くなるため、ジョイントクォータの代替として非常に頑健である。
• （クエリ、広告主）ランダム化とクエリランダム化の分散比は1を超えており、サンプルサイズが増加するにつれて上昇する可能性があり、前者の方が精度が劣ることを示している。
• シミュレーションの結果、相対的バイアスと分散比はサンプルサイズが大きくなると安定化することが示唆されており、小規模なシミュレーションの結果が大規模な実世界実験の代表性を有していると考えられる。