[논문 리뷰] A/B Testing of Auctions

Shuchi Chawla, Jason D. Hartline외 1명|arXiv (Cornell University)|2016. 06. 02.

Auction Theory and Applications참고 문헌 19인용 수 4

한 줄 요약

이 논문은 입찰자가 자신이 입찰하는 메커니즘(A 또는 B)을 모를 경우 발생하는 혼합균형 행동으로 인한 간섭을 피하면서, 입찰자들이 혼합된 메커니즘에서 입찰하는 경우에도 정확한 수익 예측이 가능한 새로운 A/B 테스트 방법론을 개발한다. 복합 메커니즘을 A와 B의 볼록 조합으로 모델링함으로써, 오차 한계가 1/√ε가 아닌 log(1/ε) 비례로 증가함을 도출하였으며, 이는 B가 거의 발생하지 않는 경우(ε < 1/N)에도 신뢰할 수 있는 비교를 가능하게 한다.

ABSTRACT

For many application areas A/B testing, which partitions users of a system into an A (control) and B (treatment) group to experiment between several application designs, enables Internet companies to optimize their services to the behavioral patterns of their users. Unfortunately, the A/B testing framework cannot be applied in a straightforward manner to applications like auctions where the users (a.k.a., bidders) submit bids before the partitioning into the A and B groups is made. This paper combines auction theoretic modeling with the A/B testing framework to develop methodology for A/B testing auctions. The accuracy of our method %, assuming the auction is directly comparable to ideal A/B testing where there is no interference between A and B. Our results are based on an extension and improved analysis of the inference method of Chawla et al. (2014).

연구 동기 및 목표

• 입찰자가 자신이 대응하는 메커니즘을 모를 경우 발생하는 혼합균형 행동으로 인해 표준 A/B 비교가 무효화되는 입찰 A/B 테스트의 근본적 과제를 해결하기 위해.
• 복합 메커니즘 C에서 수집된 입찰을 기반으로 목표 메커니즘 B의 수익을 정확히 복원하는 통계적 추정기법을 개발하기 위해.
• 이전 오차 한계를 개선하여, 추정 오차가 1/√ε가 아니라 log(1/ε)에 비례함을 보여주어, 치료 메커니즘 B가 거의 사용되지 않는 경우에도 신뢰할 수 있는 추론이 가능하도록 하기 위해.
• 절대 수익 추정보다 메커니즘 간 상대적 성능 비교가 통계적으로 더 쉬우며, 오차율이 표본 크기 증가에 따라 지수적으로 감소함을 보여주기 위해.
• 단일 복합 메커니즘을 사용하여 쿼리 별 메커니즘 전용 A/B 테스트를 가능하게 하여 광고 레이아웃(예: 메인라인 광고 대비 사이드바 광고 수)의 실용적 최적화를 가능하게 하기 위해.

제안 방법

• 입찰자에게 적용되는 복합 A/B 테스트 메커니즘 C를, 기존 메커니즘 A와 치료 메커니즘 B의 볼록 조합으로 모델링하며, B가 확률 ε로 활성화됨을 가정한다.
• 복합 메커니즘 C에서의 균형 입찰 분포를 기반으로 가중 순서통계량 추정기법을 사용하여 목표 메커니즘 B의 수익을 추정하며, 서로 다른 가중치를 가진 위치 입찰의 수학적 동치성을 활용한다.
• 균형 입찰 함수의 도함수 분석을 정교화하여, 복합 메커니즘 C에서의 입찰을 기반으로 k-unit 입찰의 수익 추정 오차를 한계화한다.
• 핵심 오차 한계 유도: E[|P̂_k - P_k|] ≤ (40 / √N) × sup_q |x'_k(q)| × (n + log(1/ε))이며, 여기서 n은 위치 수이고 ε는 C에서 B가 활성화될 확률이다.
• 메커니즘 비교를 위해 이진 분류기 γ = 1{P_B1 > αP_B2}를 구성하고, 고정된 α와 수익 격차 조건 하에서 표본 수 N에 따라 오차율이 지수적으로 감소함을 보여준다.
• 다중 메커니즘 비교(예: r개 메커니즘 중 최고를 선택)에 분석을 확장하여, 오차 한계가 r × exp(−O(Na² / (n³ log(rn/ε)))) 비례로 증가함을 보이며, a는 상위 두 수익 간 격차이다.

실험 결과

연구 질문

• RQ1 복합 메커니즘 C가 A와 B를 혼합하는 경우, 입찰자가 C에서 입찰을 제출할 때 목표 메커니즘 B의 수익을 정확히 추정할 수 있는가?
• RQ2 복합 테스트 C에서 메커니즘 B가 사용될 확률 ε에 따라 추정 오차가 어떻게 영향을 받는가?
• RQ3 두 메커니즘(B1 대비 B2)의 상대적 성능을 절대 수익 추정보다 더 정확히 비교할 수 있으며, 만약 가능하다면 오차는 표본 크기와 어떻게 관련되는가?
• RQ4 어떤 조건에서 복합 메커니즘과 다른 메커니즘에서 수집된 입찰을 기반으로 다중 단위 또는 위치 입찰 수익을 신뢰성 있게 추정할 수 있는가?
• RQ5 치료 메커니즘이 거의 발생하지 않는 경우(ε < 1/N), 제안된 방법이 이상적인 A/B 테스트에 비해 어떻게 향상되는가?

주요 결과

• 제안된 추정기법은 오차 한계가 1/√ε가 아니라 log(1/ε) 비례로 증가함을 보여주어, 치료 메커니즘이 거의 사용되지 않는 경우에도 신뢰성 있는 성능 향상을 달성한다.
• 복합 메커니즘 C = (1−ε)A + εB에서 수집된 입찰을 기반으로 k-unit 입찰의 수익을 추정할 경우, 기대 절대 오차는 (40 / √N) × sup_q |x'_k(q)| × (n + log(1/ε))로 한계화된다.
• 분류기 γ = 1{P_B1 > αP_B2}를 통해 두 메커니즘 B1과 B2를 비교할 경우, 오차율은 표본 수 N에 따라 지수적으로 감소하며, 구체적으로 exp(−O(Na² / (α²n³ log(n/ε))))로 한계화된다. 여기서 a = |P_B1 − αP_B2|이다.
• 이 방법은 단일 복합 메커니즘 C에서 수집된 한 세트의 입찰로부터 모든 다중 단위 및 위치 입찰 수익을 동시에 추정할 수 있도록 한다.
• r개의 메커니즘 중 최고를 선택하는 경우, 오류 확률은 r × exp(−O(Na² / (n³ log(rn/ε))))로 한계화되며, 다중 비교가 이루어져도 표본 크기 N에 대해 지수 수렴을 보임을 보여준다.
• 이 방법은 메인라인 광고와 사이드바 광고 수(클릭 가중치에 영향을 주는)를 쿼리 별로 테스트할 수 있도록 하여 실용적 광고 레이아웃 최적화에 특히 효과적이다.