[논문 리뷰] Statistical Inference and A/B Testing for First-Price Pacing Equilibria

Luofeng Liao, Christian Kroer|arXiv (Cornell University)|2023. 01. 05.

Consumer Market Behavior and Pricing인용 수 6

한 줄 요약

이 논문은 대규모 1차 입찰 광고 경매에서 예산 제약이 있는 입찰자에 의한 간섭이 발생하는 상황에서도 유효한 A/B 테스트를 가능하게 하는, 1차 입찰 패스잉 균형(FPPE)에 대한 통계적 추론 프레임워크를 개발한다. 중심극한정리, 점근적으로 타당한 신뢰구간, 수익 및 내쉬 사회후생과 같은 핵심 지표의 국소 점근 최소최대 최적성 등을 확립하며, 시뮬레이션과 실증적 커버리지 비율을 통해 검증된다.

ABSTRACT

We initiate the study of statistical inference and A/B testing for first-price pacing equilibria (FPPE). The FPPE model captures the dynamics resulting from large-scale first-price auction markets where buyers use pacing-based budget management. Such markets arise in the context of internet advertising, where budgets are prevalent. We propose a statistical framework for the FPPE model, in which a limit FPPE with a continuum of items models the long-run steady-state behavior of the auction platform, and an observable FPPE consisting of a finite number of items provides the data to estimate primitives of the limit FPPE, such as revenue, Nash social welfare (a fair metric of efficiency), and other parameters of interest. We develop central limit theorems and asymptotically valid confidence intervals. Furthermore, we establish the asymptotic local minimax optimality of our estimators. We then show that the theory can be used for conducting statistically valid A/B testing on auction platforms. Numerical simulations verify our central limit theorems, and empirical coverage rates for our confidence intervals agree with our theory.

연구 동기 및 목표

• 예산 분할로 인해 치료군 간 간섭이 발생하는 광고 입찰 플랫폼에서 A/B 테스트에 대한 통계적 이론의 부재를 해결하기 위해.
• 지속적인 수많은 물품을 가진 한계 FPPE를 사용하여 예산 제약이 있는 입찰자들이 있는 1차 입찰 시장의 장기적 행동을 모델링하기 위해.
• 유한 표본에서 관측 가능한 FPPE 데이터로부터 핵심 원천—예를 들어 수익 및 내쉬 사회후생—을 추정하기 위해.
• 시장 결과 추정량에 대한 점근적으로 타당한 신뢰구간을 개발하고, 추정량의 국소 점근 최소최대 최적성(optimality)을 확립하기 위해.
• 실제 광고 플랫폼에서 예산 제약 하에서의 전략적 입찰자 행동을 고려하여 통계적으로 타당한 A/B 테스트를 가능하게 하기 위해.

제안 방법

• 무한한 수의 물품을 가진 한계 FPPE를 사용하여 입찰 플랫폼의 안정 상태 행동을 모델링하는 통계적 프레임워크를 제안한다.
• 유한한 수의 물품을 가진 관측 가능한 FPPE를 데이터로 사용하여, 수익 및 내쉬 사회후생과 같은 한계 FPPE의 원천을 추정한다.
• FPPE 모델 하에서 시장 결과 추정량에 대한 중심극한정리를 도출하여 점근적 추론을 가능하게 한다.
• 중심극한정리와 헤시안 기반 분산 추정을 사용하여 핵심 지표에 대한 점근적으로 타당한 신뢰구간을 구성한다.
• 제안된 추정량의 국소 점근 최소최대 최적성(optimality)을 확립하여, 국소 점근 프레임워크 내에서 최선의 평균제곱오차를 달성함을 보여준다.
• 다양한 가치 분포(균일, 정규, 지수)에서의 수치 시뮬레이션과 신뢰구간의 실증적 커버리지 비율을 통해 이론을 검증한다.

실험 결과

연구 질문

• RQ1 입찰자가 패스잉 기반 예산 관리를 사용하고 A/B 테스트에서 예산 분할으로 인해 간섭이 발생하는 1차 입찰 광고 경매에서 통계적 추론을 엄밀하게 수행할 수 있는가?
• RQ2 FPPE 모델에서 수익 및 내쉬 사회후생과 같은 핵심 시장 결과 추정량의 점근적 분포는 무엇인가?
• RQ3 FPPE 원천에 대한 제안된 추정량은 점근적으로 효율적인가, 국소 점근 최소최대 최적성을 달성하는가?
• RQ4 이론적 신뢰구간은 유한 표본에서 얼마나 잘 작동하는가, 그리고 실증적 커버리지 비율이 명시된 수준과 일치하는가?
• RQ5 제안된 프레임워크는 예산 제약 하에서 실제 광고 플랫폼에서 통계적으로 타당한 A/B 테스트를 수행하는 데 사용될 수 있는가?

주요 결과

• FPPE에서 수익 및 내쉬 사회후생에 대한 제안된 추정량은 점근 정규성을 확보하여 타당한 신뢰구간을 구성할 수 있다.
• 다양한 시뮬레이션 설정에서 수익에 대한 90% 신뢰구간의 실증적 커버리지 비율이 명시된 90% 수준과 밀접하게 일치하여 이론적 예측을 확인한다.
• 추정량은 국소 점근 최소최대 최적성(optimality)을 달성하며, 국소 점근 프레임워크 내에서 최선의 평균제곱오차를 달성함을 의미한다.
• 추정된 패스잉 승수의 분포가 정규분포로 수렴하는 방식은 비표준적이며, 최적 패스잉 승수가 1인 입찰자일수록 수렴 속도가 더 빠르다.
• 수치 결과에 따르면 헤시안 추정에서의 스무딩 파라미터는 수치 정확도에 측정 가능한 영향을 미치지만 관리 가능한 수준이며, 다양한 가치 분포에서 안정적인 수렴을 보인다.
• 다양한 치료 확률과 시장 규모에서 치료 효과에 대한 신뢰구간의 커버리지 비율이 안정적으로 유지되며 대부분의 설정에서 명시된 수준에 가까운 비율을 기록한다.