[논문 리뷰] Parallel Experimentation in a Competitive Advertising Marketplace

Xiliang Lin, Harikesh S. Nair외 2명|arXiv (Cornell University)|2019. 03. 27.

Consumer Market Behavior and Pricing참고 문헌 20인용 수 5

한 줄 요약

이 논문은 디지털 마켓플레이스에서 여러 기업 간 병렬 광고 실험을 위한 원인 인과 프레임워크와 실험 설계를 제안하며, 상호 간 간섭을 고려하여 치료 효과를 정확하게 추정할 수 있도록 한다. 16개 광고주와 수백만 명의 사용자를 대상으로 JD.com의 광고 플랫폼에서 평가된 결과, 이 방법은 타당성을 입증했으며 경쟁적 광고 환경에서 상호작용 효과의 핵심적 역할을 확인했다.

ABSTRACT

When multiple firms are simultaneously running experiments on a platform, the treatment effects for one firm may depend on the experimentation policies of others. This paper presents a set of causal estimands that are relevant to such an environment. We also present an experimental design that is suitable for facilitating experimentation across multiple competitors in such an environment. Together, these can be used by a platform to run experiments "as a service," on behalf of its participating firms. We show that the causal estimands we develop are identified nonparametrically by the variation induced by the design, and present two scalable estimators that help measure them in typical high-dimensional situations. We implement the design on the advertising platform of JD.com, an eCommerce company, which is also a publisher of digital ads in China. We discuss how the design is engineered within the platform's auction-driven ad-allocation system, which is typical of modern, digital advertising marketplaces. Finally, we present results from a parallel experiment involving 16 advertisers and millions of JD.com users. These results showcase the importance of accommodating a role for interactions across experimenters and demonstrates the viability of the framework.

연구 동기 및 목표

• 다양한 기업 간 광고 실험에서 발생하는 간섭 문제를 해결하기 위해, 치료 효과가 경쟁 기업의 행동에 의존하는 상황을 다루는 것.
• 한 기업의 실험이 다른 기업의 실험 정책을 고려하여 영향을 측정할 수 있는 원인 인과 추정량을 개발하는 것.
• 디지털 마켓플레이스의 입찰 기반 광고 배정 시스템과 호환되는 확장 가능한 실험 프레임워크를 설계하는 것.
• 플랫폼이 동시에 여러 광고주에게 '실험 서비스'를 제공할 수 있도록 하되, 유효한 원인 인과 추론을 보장하는 것.

제안 방법

• 병렬 실험에서 기업 간 간섭을 고려한 비모수적 식별 가능한 원인 인과 추정량 세트를 제안한다.
• 기업 간 치료 노출의 변동성을 유도하는 실험 설계를 통해 제안된 추정량의 식별을 가능하게 한다.
• 고차원 데이터에 적합한 두 가지 확장 가능한 추정량을 개발하여 실제 디지털 광고 환경에서의 추정을 용이하게 한다.
• 설계를 JD.com의 입찰 기반 광고 배정 시스템에 통합하여 기존 플랫폼 인프라와의 호환성을 확보한다.
• 랜덤화와 노출 매핑을 활용해 동시에 여러 광고주에 대해 치료군과 대조군을 정의한다.

실험 결과

연구 질문

• RQ1 서로 간섭하는 실험들이 발생하는 다기업 광고 환경에서 원인 효과를 어떻게 추정할 수 있는가?
• RQ2 동일한 플랫폼에서 여러 광고주가 동시에 실험을 수행할 경우, 어떤 실험 설계가 유효한 추론을 가능하게 하는가?
• RQ3 경쟁적 마켓플레이스에서 한 광고주의 치료 효과는 다른 기업의 실험 행동에 어떻게 의존하는가?
• RQ4 플랫폼이 통계적 타당성과 확장성을 유지하면서 동시에 여러 광고주를 위한 병행 실험을 신뢰성 있게 지원할 수 있는가?

주요 결과

• 제안된 원인 인과 추정량은 실험 설계에 의해 유도된 변동성을 통해 비모수적으로 식별된다.
• 두 가지 확장 가능한 추정량은 고차원적이고 실제 광고 데이터에서의 치료 효과 정확한 측정을 가능하게 한다.
• 실험 설계는 기존 운영 방식을 방해하지 않으며 JD.com의 입찰 기반 광고 배정 시스템에 성공적으로 구현되었다.
• 16개 광고주와 수백만 명의 사용자를 대상으로 한 병행 실험은 기업 간 간섭이 치료 결과에 상당한 영향을 미친다는 것을 입증했다.
• 결과는 프레임워크의 타당성을 검증하였으며, 경쟁적 광고 플랫폼에서 실험자 간 상호작용을 모델링하는 것이 중요하다는 점을 강조한다.