[논문 리뷰] Validation Set Evaluation can be Wrong: An Evaluator-Generator Approach for Maximizing Online Performance of Ranking in E-commerce

Guangda Huzhang, Zhen-Jia Pang외 5명|arXiv (Cornell University)|2020. 03. 25.

Mobile Crowdsensing and Crowdsourcing참고 문헌 30인용 수 5

한 줄 요약

이 논문은 전자상거래 러닝-투-랭크 시스템에서 오프라인 평가의 신뢰성을 향상시키기 위해 평가자-생성자 프레임워크를 제안한다. 오프라인 데이터를 기반으로 온라인 성능을 모방하는 평가자 모델을 훈련하고, 이를 강화학습을 통해 생성자 모델을 안내함으로써, 검증 점수를 실제 온라인 성능을 더 잘 예측하도록 개선한다. 그 결과, AliExpress Search에서 전환율과 GMV가 각각 2% 이상 향상되었다.

ABSTRACT

Learning-to-rank (LTR) has become a key technology in E-commerce applications. Most existing LTR approaches follow a supervised learning paradigm, relying on labeled data collected from a specific online system. However, the online performance of the models may be inconsistent with that observed in offline evaluation. This inconsistency is serious: even if we successfully reproduce the offline performance of a newly proposed model, it may perform poorly when deployed in online systems. Interacting with online systems is an accurate albeit costly way of evaluation as the process may hurt user experience. To avoid the inaccuracy of offline evaluation and the cost of the online interaction-based evaluation, we propose an evaluator-generator framework. Firstly, we train an evaluator model as an approximation of online systems with offline data. Secondly, we learn a generator with supervision from the evaluator, which can approximate the maximal online performance through reinforcement learning. Through extensive experience, we show that the classic data-based metrics on the validation set can be inconsistent with online performance, and can even be misleading. We also demonstrate that the proposed evaluator score is significantly more robust than common ranking metrics: classic metrics do not match the actual performance in both an offline simulated environment and a real online system while our evaluator score matches them well. Finally, we show that our method achieves a significant improvement of ($ extgreater2\%$) over the current industrial-level pair-wise model in terms of both Conversion Rate (CR) and Gross Merchandise Volume (GMV) in online A/B tests on AliExpress Search. Roughly, it contributes more than 300 millions dollars to GMV per year in the common daily selling.

연구 동기 및 목표

• 전자상거래 러닝-투-랭크 시스템에서 오프라인 검증 성능와 실제 온라인 랭킹 성능 간의 일관성 없는 문제를 해결하기 위해.
• 오프라인 A/B 테스트의 비용과 위험을 줄이기 위해 오프라인 평가 정확도를 향상시키기 위해.
• 단지 오프라인 데이터와 강화학습을 사용하여 최대 온라인 성능을 예측할 수 있는 방법을 개발하기 위해.
• 기존의 오프라인 메트릭이 랭킹 모델 평가 시 오해의 소지가 있을 수 있음을 입증하기 위해.
• 시뮬레이션된 오프라인 환경과 AliExpress Search에서의 실제 온라인 A/B 테스트를 통해 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 실제 온라인 시스템의 행동을 근사하기 위해 오프라인 레이블 데이터를 사용해 평가자 모델을 훈련한다.
• 훈련된 평가자 모델을 강화학습 프레임워크 내의 보상 신호로 사용하여 생성자 모델을 훈련한다.
• 생성자 모델은 평가자 모델이 예측한 온라인 성능을 최대화하도록 최적화된다.
• 평가자 점수는 온라인 성능의 대체 지표로 작용하여 신뢰할 수 있는 오프라인 모델 선택을 가능하게 한다.
• 오프라인 및 온라인 평가에서 비교를 위한 기준으로 쌍별 러닝-투-랭크 모델을 활용한다.
• 생성자 모델을 적용하여 최종 랭킹 모델을 생성하고, 이를 실제 AliExpress Search 시스템에서 A/B 테스트를 통해 평가한다.

실험 결과

연구 질문

• RQ1 기존의 오프라인 랭킹 메트릭이 전자상거래 랭킹 시스템에서 온라인 성능을 신뢰성 있게 예측할 수 있는가?
• RQ2 제안된 평가자-생성자 프레임워크는 오프라인 평가와 실제 온라인 성능 간의 일치도를 어느 정도 향상시키는가?
• RQ3 평가자 점수는 NDCG나 MAP와 같은 표준 메트릭과 비교해 실제 온라인 결과를 예측하는 데 얼마나 우수한가?
• RQ4 제안된 방법은 실제 온라인 배포에서 전환율 및 GMV와 같은 핵심 비즈니스 지표에서 유의미한 향상을 이룰 수 있는가?
• RQ5 평가자 점수는 시뮬레이션된 오프라인 환경과 실제 온라인 시스템 양쪽 모두에서 안정적인가?

주요 결과

• 검증 세트에서의 전통적 오프라인 메트릭, 예를 들어 NDCG와 MAP는 실제 온라인 성능와 일관성이 없으며 오해의 소지가 있다.
• 제안된 평가자 점수는 시뮬레이션된 오프라인 환경과 실제 온라인 시스템 결과 모두와 높은 일치도를 보이며, 표준 메트릭보다 훨씬 높은 강건성을 입증했다.
• 실제 온라인 A/B 테스트에서 전환율과 총 상품 판매 금액(GMV) 모두 2% 이상 유의미한 향상을 달성했다.
• 일반적인 일일 판매량을 기반으로 제안된 방법의 연간 GMV 기여도는 3억 달러 이상으로 추정되었다.
• 평가자-생성자 프레임워크는 단지 오프라인 데이터와 강화학습을 사용하여 최대 달성 가능한 온라인 성능을 성공적으로 근사했다.
• 결과적으로 기존 오프라인 평가 메트릭은 실제 온라인 성공을 예측하지 못할 수 있으며, 제안된 평가자 점수는 신뢰할 수 있는 대안을 제공한다.