[논문 리뷰] Price Experimentation and Interference

Ramesh Johari, Page, Orrie B.외 1명|arXiv (Cornell University)|2023. 10. 26.

Digital Platforms and Economics인용 수 5

한 줄 요약

이 논문은 온라인 플랫폼에서 가격 실험을 위한 A/B 테스트에서 사용자 간 간섭으로 인해 발생하는 핵심 편향을 규명한다. 이로 인해 표준 추정기법이 수익 변화를 잘못 추정하게 되어, 실제로 수익을 감소시키는 가격 인상 조치를 권장할 수 있다. 구조적 모델링과 미분법을 사용하여, 수익 관리 및 양면 시장 환경에서 추정된 치료 효과가 잘못된 부호를 가질 수 있는 조건을 도출한다.

ABSTRACT

In this paper, we examine the biases that arise when firms run A/B tests on continuous parameters to estimate global treatment effects on performance metrics of interest; we particularly focus on price experiments to measure the price impact on quantity demanded, and on profit. In canonical A/B experimental estimators, biases emerge due to interference between market participants. We employ structural modeling and differential calculus to derive intuitive characterizations of these biases. We then specialize our general model to the standard revenue-management pricing problem. This setting highlights a fundamental risk innate to A/B pricing experiments: that the canonical estimator for the expected change in profits, counterintuitively, can have the wrong sign in expectation. In other words, following the guidance of canonical estimators may lead firms to move prices (or fees) in the wrong direction, inadvertently decreasing profits. We introduce a novel debiasing technique for these canonical experiments, requiring only that firms equally split units between treatment and control. We apply these results to a two-sided market model, and demonstrate how the "change of sign" regime depends on market factors such as the supply/demand imbalance, and the price markup. We conclude by calibrating our revenue-management pricing model to published empirical estimates from Airbnb marketplaces, demonstrating that estimators with the wrong sign are not a knife-edge issue, and that they may be prevalent enough to be of concern to practitioners.

연구 동기 및 목표

• 연속적인 매개변수(예: 가격)를 조작할 때 간섭이 발생하는 A/B 테스트의 편향을 분석하는 것.
• 시장 참가자 간의 간섭으로 인해 표준 실험 설계에서 사용되는 표준 추정기법이 수익 추정에서 오해를 낳을 수 있는 이유를 설명하는 것.
• 편향의 구조적 특성화를 위해 미분법과 교차 편미분을 사용하여 간섭 효과를 정량화하는 것.
• 수익에 대한 추정된 치료 효과가 진정한 전역 치료 효과와 반대 부호를 가질 수 있는 경우를 조사하여 기업이 비최적의 가격 결정을 내릴 수 있도록 하는 것.
• 결과를 이원 시장 플랫폼에 적용하고, 부호 전환이 가장 자주 발생할 수 있는 매개변수 영역을 규명하는 것.

제안 방법

• 플랫폼의 역동성을 표현하기 위해 구조적 모델링을 사용하며, 수요, 공급 및 가격 상호작용을 포함한다.
• 교차 편미분을 통해 제어군과 처리군 간의 상호작용을 기반으로 편향 표현식을 도출하기 위해 미분법을 적용한다.
• 연속적인 가격 변화를 고려한 표준 수익 관리 문제에 일반 모델을 특수화한다.
• 가격 수요의 가격 민감도와 시장 균형 매개변수를 사용하여 '부호 전환' 편향에 대한 분석적 조건을 유도한다.
• 리스트 랜덤화(LR)와 제어 랜덤화(CR)의 두 실험 설계를 비교하고, 극한 경우에서의 편향 행동을 분석한다.
• 수치 시뮬레이션과 시각화(예: 편향 대 가격 및 시장 균형)를 활용하여 편향 패턴과 부호 전환 영역을 시각적으로 설명한다.

실험 결과

연구 질문

• RQ1 A/B 테스트에서 간섭이 발생할 경우, 표준 추정기법이 전역 치료 효과에 대해 수익에 대해 잘못된 추정을 내릴 수 있는 조건은 무엇인가?
• RQ2 제어군과 처리군 간의 상호작용(교차 편미분으로 측정)은 표준 가격 실험에서의 편향을 어떻게 특성화하는가?
• RQ3 추정된 수익 변화가 진정한 전역 치료 효과와 반대 부호를 가지는 매개변수 영역은 어디인가?
• RQ4 리스트 랜덤화(LR)와 제어 랜덤화(CR) 실험의 편향은 시장 균형 영역에 따라 어떻게 다를까?
• RQ5 가격 민감도, 비용 구조, 그리고 시장 제약 조건(수요 대 공급)은 수익 추정에서 부호 전환이 발생할 가능성을 어떻게 결정하는가?

주요 결과

• 가격 실험에서 수익 변화에 대한 표준 추정기법은 잘못된 부호를 가질 수 있으며, 이는 기업이 현 상태보다 수익을 감소시키는 가격 인상을 유도할 수 있다.
• 수익 추정의 편향은 상호작용하는 제어군 및 처리군의 수익이 서로의 가격 변수에 대해 가지는 교차 편미분에 비례하며, 이는 간섭의 구조적 특성화를 제공한다.
• 낮은 시장 균형(수요 제약)의 극한에서 CR 실험은 비편향이 되지만, LR 실험은 여전히 편향이 있다. 반대로 고균형(공급 제약)에서는 반대의 결과가 나타난다.
• '부호 전환' 영역—즉, 추정된 효과가 진정한 전역 치료 효과와 반대되는 영역—는 중간 수준의 시장 균형 영역에서 발생하며, 가격 공간에서 연속적인 간격을 이룬다.
• CR 실험의 경우 부호 전환 가능성은 시장 균형이 증가함에 따라 증가하고, LR 실험의 경우 감소함에 따라 나타나며, 이는 편향 행동이 설계 간에 전환되는 임계점 β*가 존재함을 시사한다.
• 치료 비율 q는 부호 전환 가능성에 영향을 주지 않으며, 이는 치료 대상 단위의 비율을 늘려도 이러한 편향을 제거할 수 없다는 의미이다.