[논문 리뷰] Revenue, Relevance, Arbitrage and More: Joint Optimization Framework for Search Experiences in Two-Sided Marketplaces

Andrew Stanton, Akhila Ananthram외 2명|arXiv (Cornell University)|2019. 05. 15.

Consumer Market Behavior and Pricing참고 문헌 31인용 수 5

한 줄 요약

이 논문은 이태리스와 같은 이중시장에서 수익, 관련성, 공정성(Gini 지수), 판매자 인cent라이브 지표를 동시에 균형 잡는 데에 진화 전략( Evolutionary Strategies)을 사용하는 공동 최적화 프레임워크를 제안한다. 시장 수준의 지표를 제약 조건으로 모델링하고, 정책 학습자를 엔드 투 엔드로 훈련시킴으로써, 계단식 수동 조정에 의존하지 않고 다양한 비즈니스 목표를 향상시킨다. 공정성과 관련성에서 통계적으로 유의미한 향상을 달성하면서도 NDCG와 GMV 성능을 유지한다.

ABSTRACT

Two-sided marketplaces such as eBay, Etsy and Taobao have two distinct groups of customers: buyers who use the platform to seek the most relevant and interesting item to purchase and sellers who view the same platform as a tool to reach out to their audience and grow their business. Additionally, platforms have their own objectives ranging from growing both buyer and seller user bases to revenue maximization. It is not difficult to see that it would be challenging to obtain a globally favorable outcome for all parties. Taking the search experience as an example, any interventions are likely to impact either buyers or sellers unfairly to course correct for a greater perceived need. In this paper, we address how a company-aligned search experience can be provided with competing business metrics that E-commerce companies typically tackle. As far as we know, this is a pioneering work to consider multiple different aspects of business indicators in two-sided marketplaces to optimize a search experience. We demonstrate that many problems are difficult or impossible to decompose down to credit assigned scores on individual documents, rendering traditional methods inadequate. Instead, we express market-level metrics as constraints and discuss to what degree multiple potentially conflicting metrics can be tuned to business needs. We further explore the use of policy learners in the form of Evolutionary Strategies to jointly optimize both group-level and market-level metrics simultaneously, side-stepping traditional cascading methods and manual interventions. We empirically evaluate the effectiveness of the proposed method on Etsy data and demonstrate its potential with insights.

연구 동기 및 목표

• 이중시장에서 구매자 관련성, 판매자 인센티브, 플랫폼 공정성이 종종 충돌하는 상황에서 검색 경험 최적화 문제를 해결하기 위해.
• 기존의 러닝-투-랭크 방법이 Gini 지수나 인센티브 공정성과 같은 복잡한 시장 수준 지표를 분해할 수 없는 한계를 극복하기 위해.
• 다양한 충돌하는 비즈니스 지표를 계단식 히우리스틱이나 수동 조정에 의존하지 않고 동시에 최적화할 수 있는 통합 프레임워크를 개발하기 위해.
• 정책 학습을 통해 진화 전략( Evolutionary Strategies)이 다양한 경쟁적인 비즈니스 요구사항을 효과적으로 조정할 수 있음을 보여주기 위해.
• 실제 이태리스 데이터를 바탕으로 방법을 검증하여 공정성과 관련성에서 측정 가능한 향상을 보이며 핵심 순위 성능을 유지함을 입증하기 위해.

제안 방법

• 프레임워크는 Gini 지수, 인센티브 공정성, 수익과 같은 시장 수준 지표를 다중 목적 최적화 문제에서 제약 조건으로 설정한다.
• 다양한 목적, 즉 관련성(NDCG), 공정성(Gini), 인센티브 일치도를 직접 최적화하기 위해 진화 전략(ES)을 사용하여 정책 네트워크를 훈련시킨다.
• 스토하스틱 밸류 함수(SVFs)와 그레디 밸류 함수(GVFs)를 사용하여 정책 네트워크를 훈련시키며, 후자가 더 낮은 분산과 더 나은 일반화 성능을 보였다.
• 상호 간의 트레이드오프를 균형 잡기 위해 중요도 가중치를 사용하여, 시장 수준 지표의 부드럽고 점진적인 조정을 가능하게 한다.
• 포인트와 그룹 수준 최적화를 조합한 하이브리드 접근 방식을 통해 개별 문서의 관련성과 전체 시장 건강도를 동시에 향상시킨다.
• 기존의 계단식 방법을 피하기 위해, 다양한 충돌 가능한 비즈니스 목표를 동시에 충족시키는 단일 정책을 학습한다.

실험 결과

연구 질문

• RQ1 Gini 지수와 같은 시장 수준의 지표, 예를 들어 공정성이나 판매자 인센티브 일치도를 포인트와이즈 손실 함수에 의존하지 않고 검색 순위 최적화에 효과적으로 적용할 수 있는가?
• RQ2 진화 전략( Evolutionary Strategies)이 이중시장에서 관련성, 수익, 공정성과 같은 상충하는 목표를 얼마나 효과적으로 공동 최적화할 수 있는가?
• RQ3 시장 수준 지표 최적화 시, 스토하스틱 밸류 함수와 정적 밸류 함수의 일반화 성능 및 안정성 측면에서 어떤 차이가 있는가?
• RQ4 제안된 프레임워크는 검색 순위 시스템에서 수동 조정과 계단식 간섭의 필요성을 얼마나 줄일 수 있는가?
• RQ5 다양한 지표의 중요도 가중치 설정이 검색 결과에서 공정성과 관련성 간 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• SG-ES-{0.17,0.17} 버전은 테스트 세트에서 MMR-LambdaMART 기준 대비 NDCG에서 1.5% 향상(0.652 대비 0.642)과 Gini 지수에서 1.4% 향상(0.911 대비 0.889)을 달성했다.
• 스토하스틱 정책 버전(SG-ES)은 그레디 버전 대비 테스트 분산을 50% 감소시켜 더 나은 일반화 성능과 안정성을 보였다.
• SG-ES-{0.17,0.17} 설정에서 인센티브 공정성은 14.5% 향상(0.543 대비 0.466)되어 판매자 인센티브와의 일치도가 더 강화됨을 나타냈다.
• 중요도 가중치는 시장 수준 지표의 부드럽고 점진적인 조정을 가능하게 하였으며, 최적의 가중치 설정 하에서 Gini 지수는 기준값 0.795에서 0.911로 향상되었다.
• SG-ES 버전은 관련성(NDCG)과 공정성(Gini) 양면에서 모든 기준 모델을 능가하였으며, 다음으로 우수한 기준 모델 대비 테스트 NDCG에서 1.2% 향상되고 Gini 지수에서 1.2% 향상되었다.
• 이 방법은 Gini 지수와 인센티브 공정성과 같은 시장 수준 지표가 정책 학습을 통해 신뢰성 있게 영향을 받을 수 있음을 입증하였으며, 수동 또는 히우리스틱 간섭에 대한 의존도를 감소시켰다.