[논문 리뷰] Randomization and The Pernicious Effects of Limited Budgets on Auction Experiments

Guillaume Basse, Hossein Azari Soufiani외 1명|arXiv (Cornell University)|2016. 05. 30.

Auction Theory and Applications참고 문헌 11인용 수 9

한 줄 요약

이 논문은 광고 입찰 경매 실험에서 (쿼리, 광고주) 랜덤화가 처리 효과 추정에 심각한 편향을 유발함을 보여주며, 이는 특히 공동 예산 절감 조건에서 치료군과 대조군 광고주 간의 간섭으로 인한 것임을 밝혀낸다. 또한 쿼리 랜덤화와 분할 예산 할당이 편향을 크게 줄이며, 입찰 및 절감 처리 효과의 편향 없는 추정을 가능하게 함을 보여준다.

ABSTRACT

Buyers (e.g., advertisers) often have limited financial and processing resources, and so their participation in auctions is throttled. Changes to auctions may affect bids or throttling and any change may affect what winners pay. This paper shows that if an A/B experiment affects only bids, then the observed treatment effect is unbiased when all the bidders in an auction are randomly assigned to A or B but it can be severely biased otherwise, even in the absence of throttling. Experiments that affect throttling algorithms can also be badly biased, but the bias can be substantially reduced if the budget for each advertiser in the experiment is allocated to separate pots for the A and B arms of the experiment.

연구 동기 및 목표

• 광고 경매를 위한 A/B 실험에서 랜덤화 체계가 편향에 미치는 영향을 분석하기.
• 예산 제약과 절감 메커니즘의 영향으로 처리 효과 추정이 어떻게 왜곡되는지 규명하기.
• 편향과 분산 측면에서 쿼리 랜덤화와 (쿼리, 광고주) 랜덤화의 성능을 비교하기.
• 편향 추정 감소 측면에서 분할 예산 할당과 공동 예산 할당의 효과를 평가하기.
• 실제 예산 및 처리 제약 조건 하에서 편향 없는 경매 실험 설계를 위한 실용적 지침 제공하기.

제안 방법

• 저자들은 잠재 결과 모델을 사용하여 광고주 각각에 대해 치료 조건과 대조 조건 하에서의 잠재 입찰 및 지불을 정의함으로써 경매 실험을 모델링한다.
• 두 가지 랜덤화 체계를 도입한다: 쿼리 랜덤화(전체 경매가 한 쪽 그룹에 할당됨)와 (쿼리, 광고주) 랜덤화(광고주가 개별적으로 할당됨).
• 특히 치료군과 대조군 광고주 간의 경쟁이 관측된 결과를 왜곡하는 방식을 중심으로 간섭 효과를 인과 모델을 통해 수식화한다.
• 공동 할당량 시스템과 분할 할당량 시스템을 정의하며, 공동 할당량은 모든 입찰을 하나의 예산으로 통합하는 반면, 분할 할당량은 각 치료 그룹에 별도의 예산을 할당한다.
• 편향과 분산을 평가하기 위해 로그노멀 입찰 분포와 다양한 절감 비율을 사용한 시뮬레이션을 수행한다.
• 상대 편향과 평균 제곱근 오차(RMSE)를 사용하여 처리 효과 추정을 평가하며, 다양한 랜덤화 및 할당량 체계 하에서의 추정기 성능을 비교한다.

실험 결과

연구 질문

• RQ1 (쿼리, 광고주) 랜덤화가 광고 경매에서 입찰 변경에 대한 처리 효과 추정에 어떻게 편향을 유발하는가?
• RQ2 절감 실험에서 공동 예산 할당과 분할 예산 할당이 처리 효과 추정기의 편향에 어떤 영향을 미치는가?
• RQ3 치료군과 대조군 광고주 간의 간섭이 경매 환경에서 A/B 테스트 결과의 타당성에 어떻게 영향을 미치는가?
• RQ4 쿼리 랜덤화가 (쿼리, 광고주) 랜덤화보다 더 정확한 처리 효과 추정을 제공하는가, 그리고 어떤 조건에서 그러한 성능 향상이 발생하는가?
• RQ5 분할 예산 할당이 공동 예산 절감 실험에서 관찰된 심각한 편향을 제거할 수 있는가?

주요 결과

• (쿼리, 광고주) 랜덤화 하에서 처리 효과 추정의 상대 편향은 최대 1.5에 이르며, 이는 쿼리 랜덤화 대비 50% 높은 편향을 의미한다.
• 입찰 처리에 있어서, 치료 입찰이 대조 입찰보다 5% 높고 절감률이 약 66%일 경우, (쿼리, 광고주) 랜덤화 하에서 추정기의 분산은 쿼리 랜덤화 대비 최대 6배 높아진다.
• 공동 할당량 절감 조건 하에서 총 수익 추정기의 상대 편향은 약 -1이며, 이는 진정한 처리 효과가 무엇이든 간에 항상 0으로 추정됨을 의미한다.
• 분할 할당량 할당은 편향을 크게 줄이며, 이론적 조건이 위반되어도 상대 편향이 거의 0에 가까워져 공동 할당량에 비해 강건한 대안이 된다.
• (쿼리, 광고주) 랜덤화와 쿼리 랜덤화의 분산 비율은 항상 1을 초과하며, 표본 크기가 증가함에 따라 증가할 수 있어, 후자의 경우 정밀도가 열 劣화됨을 시사한다.
• 시뮬레이션 결과, 상대 편향과 분산 비율은 표본 크기가 커질수록 안정화됨을 보여주며, 이는 소규모 시뮬레이션의 결과가 대규모 실세계 실험과 유사함을 의미한다.