[論文レビュー] A/B Testing of Auctions

Shuchi Chawla, Jason D. Hartline+1 more|arXiv (Cornell University)|Jun 2, 2016

Auction Theory and Applications参考文献 19被引用数 4

ひとこと要約

本稿は、入札者が自分がどのメカニズム（A または B）で入札しているかを把握していない状況において、混合均衡行動の干渉を回避しつつ、正確な収益推定を可能にするオークションにおける新しい A/B テスト手法を開発する。合成メカニズムを A と B の凸結合としてモデル化することで、誤差境界が 1/√ε ではなく log(1/ε) のスケールに比例することを導出し、B がほとんど発動しない場合（ε < 1/N）でも信頼性のある比較が可能になる。

ABSTRACT

For many application areas A/B testing, which partitions users of a system into an A (control) and B (treatment) group to experiment between several application designs, enables Internet companies to optimize their services to the behavioral patterns of their users. Unfortunately, the A/B testing framework cannot be applied in a straightforward manner to applications like auctions where the users (a.k.a., bidders) submit bids before the partitioning into the A and B groups is made. This paper combines auction theoretic modeling with the A/B testing framework to develop methodology for A/B testing auctions. The accuracy of our method %, assuming the auction is directly comparable to ideal A/B testing where there is no interference between A and B. Our results are based on an extension and improved analysis of the inference method of Chawla et al. (2014).

研究の動機と目的

• 入札者が自分がどのメカニズムに従っているかを把握していないため、混合均衡行動が生じ、標準的な A/B 比較が無効になるオークション A/B テストにおける根本的課題に対処すること。
• 入札が合成メカニズム C（A と B を混合）の下で収集された場合に、目的のメカニズム B の収益を正確に回復する統計推定器を開発すること。
• 先行研究の誤差境界を改善し、推定誤差が 1/√ε ではなく log(1/ε) に依存することを示し、治療メカニズム B がほとんど使用されない場合でも信頼性のある推論を可能にすること。
• 絶対収益を推定するのと比べて、メカニズム間の相対的性能（例：P_B1 > αP_B2）を比較する方が統計的に容易であり、誤差率が標本サイズに伴い指数関数的に減少することを示すこと。
• 1つの合成メカニズムを用いて、クエリごとにメカニズム固有の A/B テストを可能にすることで、オークションレイアウト（例：メインライン広告とサイドバー広告の数）の実用的最適化を可能にすること。

提案手法

• インキーダント A と治療 B の合成テストメカニズム C を、B が確率 ε で発動するように、A と B の凸結合としてモデル化する。
• C からの均衡入札分布に基づく重み付き順序統計推定器を用い、異なる重みを持つ順位オークションの数学的同等性を活用して、目的メカニズム B の収益を推定する。
• 均衡入札関数の導関数の精密な解析を適用し、合成メカニズム C の入札から k 単位オークションの収益を推定する際の誤差を限定する。
• 重要な誤差境界を導出：E[|P̂_k - P_k|] ≤ (40 / √N) × sup_q |x'_k(q)| × (n + log(1/ε)) ここで n は位置数、ε は C における B の発生確率。
• メカニズム比較のため、二値分類器 γ = 1{P_B1 > αP_B2} を構築し、固定された α と収益差の下で、標本サイズ N に伴い誤差率が指数関数的に減少することを示す。
• 複数メカニズム比較（例：r 個のメカニズムの中から最良を選び出す）に分析を拡張し、誤差境界が r × exp(−O(Na² / (n³ log(rn/ε)))) に比例することを示し、a は上位2つの収益の差。

実験結果

リサーチクエスチョン

• RQ1 入札が合成メカニズム C（A と B を混合）の下で収集された場合、目的のオークションメカニズム B の収益をどのように正確に推定できるか？
• RQ2 合成テスト C における B の使用確率 ε が推定誤差にどのように依存するか？
• RQ3 2つのメカニズム（例：B1 対 B2）の相対的性能を、絶対収益を推定するのと比べてより正確に比較できるか？ その場合、誤差は標本サイズにどのように依存するか？
• RQ4 どのような条件下で、別のメカニズムの下で収集された入札から、多単位または順位オークションの収益を信頼性を持って推定できるか？
• RQ5 治療メカニズムがほとんど発動しない場合（ε < 1/N）、本手法が理想的な A/B テストに比べてどのように改善されるか？

主な発見

• 提案手法の推定器は、誤差境界が 1/√ε ではなく log(1/ε) に比例するため、治療メカニズムがほとんど使用されない場合でも、著しく高いロバスト性を示す。
• 合成メカニズム C = (1−ε)A + εB からの入札を用いて k 単位オークションの収益を推定する場合、期待絶対誤差は (40 / √N) × sup_q |x'_k(q)| × (n + log(1/ε)) で上限が与えられる。
• 二つのメカニズム B1 と B2 を分類器 γ = 1{P_B1 > αP_B2} で比較する場合、誤差率は標本サイズ N に伴い指数関数的に減少し、具体的には exp(−O(Na² / (α²n³ log(n/ε)))) で上限が与えられる。ここで a = |P_B1 − αP_B2| である。
• 本手法により、1つの入札集合から、すべての多単位および順位オークションの収益を同時に推定可能である。
• r 個のメカニズムの中から最良を選び出す場合、誤差確率は r × exp(−O(Na² / (n³ log(rn/ε)))) で上限が与えられ、複数比較であっても N に伴い指数関数的収束を示す。
• 広告レイアウト最適化のような実用的状況において特に有効であり、メインライン広告とサイドバー広告の数（クリック重みに影響）をクエリごとに同じ合成メカニズムを用いてテスト可能である。