[논문 리뷰] A/B Testing for Recommender Systems in a Two-sided Marketplace

Preetam Nandy, Divya Venugopalan외 2명|arXiv (Cornell University)|2021. 05. 29.

Advanced Causal Inference Techniques참고 문헌 18인용 수 9

한 줄 요약

이 논문은 두쪽 시장에서 SUTVA가 위반되는 네트워크 의존성으로 인해 생산자에 대한 치료 효과 측정에 어려움이 있는 상황에서, 갈등하는 치료 배정 상황에서의 역행적 순위를 통합함으로써 생산자 측에 대한 고급도 높고 편향이 없는 측정을 가능하게 하는 새로운 A/B 테스트 프레임워크 UniCoRn을 제안한다. 이 프레임워크는 네트워크 구조에 대한 사전 지식이나 치료 전파에 대한 가정 없이도 정확도와 계산 비용에 대한 명시적 제어를 통해 최적의 실험 설계를 달성한다.

ABSTRACT

Two-sided marketplaces are standard business models of many online platforms (e.g., Amazon, Facebook, LinkedIn), wherein the platforms have consumers, buyers or content viewers on one side and producers, sellers or content-creators on the other. Consumer side measurement of the impact of a treatment variant can be done via simple online A/B testing. Producer side measurement is more challenging because the producer experience depends on the treatment assignment of the consumers. Existing approaches for producer side measurement are either based on graph cluster-based randomization or on certain treatment propagation assumptions. The former approach results in low-powered experiments as the producer-consumer network density increases and the latter approach lacks a strict notion of error control. In this paper, we propose (i) a quantification of the quality of a producer side experiment design, and (ii) a new experiment design mechanism that generates high-quality experiments based on this quantification. Our approach, called UniCoRn (Unifying Counterfactual Rankings), provides explicit control over the quality of the experiment and its computation cost. Further, we prove that our experiment design is optimal to the proposed design quality measure. Our approach is agnostic to the density of the producer-consumer network and does not rely on any treatment propagation assumption. Moreover, unlike the existing approaches, we do not need to know the underlying network in advance, making this widely applicable to the industrial setting where the underlying network is unknown and challenging to predict a priori due to its dynamic nature. We use simulations to validate our approach and compare it against existing methods. We also deployed UniCoRn in an edge recommendation application that serves tens of millions of members and billions of edge recommendations daily.

연구 동기 및 목표

• SUTVA가 네트워크 의존성으로 인해 위반되는 두쪽 시장에서 생산자에 대한 치료 효과 측정 과제를 해결하기 위해.
• 그래프 밀도나 치료 전파 가정에 의존하지 않고도 생산자 측 측정의 높은 정확도와 낮은 분산을 보장하는 실험 설계 메커니즘을 개발하기 위해.
• 실험 품질과 계산 비용 사이의 트레이드오프에 대한 명시적 제어를 제공하기 위해.
• 기본적인 생산자-소비자 네트워크가 알려져 있지 않고 계속 변화하는 동적인 실세계 환경에서 작동하는 방법을 설계하기 위해.
• 실험 품질을 위한 새로 정의된 부정확도 측정 기준 하에서 제안된 설계의 최적성을 증명하기 위해.

제안 방법

• 치료군과 대조군 간의 노출 분포 추정의 부정확도를 기반으로 한 설계 품질 측정 기준을 도입한다.
• 다른 치료 변형으로 할당된 생산자들 간에 발생하는 갈등을 해결하기 위해 통합된 역행적 순위 체계를 제안한다.
• 생산자 측에 랜덤화된 치료 배정 전략을 사용하며, 각 치료 변형에 대해 고유한 순위를 부여하고 이를 하나의 일관된 순위 프레임워크로 통합한다.
• 분산 증가 없이 더 큰 치료 램프(예: 더 큰 생산자 측 치료 그룹)를 지원함으로써 통계적 검정력 향상이 가능하다.
• 정의된 부정확도 측정 기준에 대해 증명 가능한 최적성을 확보하여 최소한의 추정 오차를 보장한다.
• 네트워크 구조에 대한 사전 지식이 필요 없어, 동적인 실시간 마켓플레이스 응용에 적합하다.

실험 결과

연구 질문

• RQ1 SUTVA가 위반되는 두쪽 시장에서, 생산자에 대한 치료 효과를 정확하게 측정할 수 있는 A/B 실험을 어떻게 설계할 수 있는가?
• RQ2 생산자 측 실험 설계의 품질을 원칙적이고 측정 가능한 방식으로 어떻게 정량화할 수 있는가?
• RQ3 이 품질 측정 기준에 대해 최적화되며, 그래프 밀도나 치료 전파 가정에 의존하지 않는 실험 메커니즘을 설계할 수 있는가?
• RQ4 대규모 동적 마켓플레이스에서 실험 정확도와 계산 비용 사이의 트레이드오프를 어떻게 균형 잡을 수 있는가?
• RQ5 제안된 방법은 기초 네트워크 구조에 대한 사전 지식 없이도 실세계 시스템에 적용 가능한가?

주요 결과

• UniCoRn은 제안된 부정확도 측정 기준에 대해 최적의 실험 설계를 달성하여 노출 분포 추정 오차를 최소화한다.
• 분산 증가 없이도 더 큰 치료 램프를 지원함으로써 생산자 측에서 더 높은 통계적 검정력을 확보할 수 있다.
• LinkedIn에서의 시뮬레이션 및 실전 배포 결과, WAUs와 세션 수에 긍정적 영향을 미쳐 통계적으로 유의미한 치료 효과를 입증했다.
• 프레임워크는 그래프 밀도에 민감하지 않으며, 치료 전파나 노출에 대한 반응 의존성에 대한 가정이 필요 없다.
• 네트워크 구조에 대한 사전 지식이 필요 없어, 동적인 실세계 마켓플레이스 응용에 적합하다.
• 특히 밀도가 높거나 변화가 빠른 네트워크에서 기존 방법에 비해 측정 정확도와 내구성 면에서 뛰어나다.