[논문 리뷰] Dynamic Pricing on E-commerce Platform with Deep Reinforcement Learning: A Field Experiment

Jiaxi Liu, Yidong Zhang외 3명|arXiv (Cornell University)|2019. 12. 05.

Supply Chain and Inventory Management참고 문헌 40인용 수 10

한 줄 요약

이 논문은 이커머스 플랫폼를 위한 딥 강화학습(DRL) 기반의 동적 가격 설정 프레임워크를 제안하며, 연속적인 가격 조정과 새로운 수익 전환율의 차이(DRCR) 보상 함수를 사용하는 마르코프 결정 과정(MDP)으로 가격 설정을 모델링한다. Tmall.com에서 수천 개의 SKU를 대상으로 한 현장 실험 결과, DRL은 수동 가격 설정과 전통적인 수익 기반 보상 함수보다 뛰어나며, DDPG와 DQN은 수동 제어군 대비 DRCR에서 각각 6.07배와 5.03배 높은 성능을 기록했다.

ABSTRACT

In this paper we present an end-to-end framework for addressing the problem of dynamic pricing (DP) on E-commerce platform using methods based on deep reinforcement learning (DRL). By using four groups of different business data to represent the states of each time period, we model the dynamic pricing problem as a Markov Decision Process (MDP). Compared with the state-of-the-art DRL-based dynamic pricing algorithms, our approaches make the following three contributions. First, we extend the discrete set problem to the continuous price set. Second, instead of using revenue as the reward function directly, we define a new function named difference of revenue conversion rates (DRCR). Third, the cold-start problem of MDP is tackled by pre-training and evaluation using some carefully chosen historical sales data. Our approaches are evaluated by both offline evaluation method using real dataset of Alibaba Inc., and online field experiments starting from July 2018 with thousands of items, lasting for months on Tmall.com. To our knowledge, there is no other DP field experiment using DRL before. Field experiment results suggest that DRCR is a more appropriate reward function than revenue, which is widely used by current literature. Also, continuous price sets have better performance than discrete sets and our approaches significantly outperformed the manual pricing by operation experts.

연구 동기 및 목표

• 복잡하고 변동성이 큰 시장 조건에서 대규모 이커머스 플랫폼에서 수천 개의 SKU에 대한 실시간 동적 가격 설정의 과제를 해결한다.
• 이전의 DRL 연구의 한계를 극복하기 위해 직접 수익이 아닌 새로운 보상 함수(DRCR)와 연속적인 가격 설정 집합을 도입한다.
• 기존 데이터 기반 사전 훈련과 평가를 통해 DRL 기반 가격 설정의 콜드 스타트 문제를 해결한다.
• 가격 차이를 포함한 A/B 테스트에 법적 제약이 존재하는 상황에서, 정책 평가를 위한 유효한 온라인 평가 메커니즘을 구축한다.
• Tmall.com에서의 대규모 현장 실험을 통해 DRL이 실제 이커머스 환경에서 효과적으로 작용함을 입증한다.

제안 방법

• 가격 설정을 마르코프 결정 과정(MDP)으로 모델링하며, 상태는 재고, 수요, 가격 이력, 시장 맥락의 네 가지 유형의 비즈니스 특징으로 정의한다.
• 가격 조정을 위한 이산적 및 연속적 행동 공간을 제안하여 연속적인 가격 범위에서 실시간 가격 조정을 가능하게 한다.
• 수익 전환율의 차이(DRCR)를 보상 함수로 도입하여 수익성의 변화를 더 잘 반영하고 오목한 수익 동역학을 다룰 수 있도록 한다.
• 기존 판매 데이터를 사용한 사전 훈련 및 평가 파이프라인을 구현하여 DRL 훈련에서의 콜드 스타트 문제를 완화한다.
• 수요 패턴이 유사한 'simi-products'를 활용해 정책 평가를 수행함으로써 직접적인 A/B 테스트 없이도 간접 비교가 가능하도록 한다.
• DQN과 DDPG 알고리즘을 사용해 엣지 툴에서 정책을 엔드 툴로 학습시키며, 안정성과 성능을 위해 하이퍼파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 연속적인 가격 조정이 가능한 실생활 대규모 이커머스 환경에서 동적 가격 설정을 효과적으로 최적화할 수 있는가?
• RQ2 변동성이 큰 시장에서 수익 전환율의 차이(DRCR)는 직접 수익보다 더 효과적인 보상 함수인가?
• RQ3 제한된 초기 경험을 가진 실제 제품 데이터에서 DRL 기반 가격 설정의 콜드 스타트 문제는 어떻게 완화할 수 있는가?
• RQ4 가격 기반 A/B 테스트에 법적 제약이 존재하는 상황에서 정책 평가를 위한 유효한 온라인 평가 메커니즘을 어떻게 구축할 수 있는가?
• RQ5 DRL 기반 동적 가격 설정은 장기적인 수익성과 수익 전환율 측면에서 수동 가격 설정 전략보다 뚜렷이 뛰어나게 성능을 발휘하는가?

주요 결과

• DRCR 보상 함수는 직접 수익보다 훨씬 뛰어난 보상 신호로 작용했으며, FMCG 실험에서 DRL 정책이 수동 가격 설정 대비 DRCR에서 6.07배 높은 성능을 기록했다.
• 연속적인 가격 설정 집합이 이산적 설정 집합보다 더 뛰어난 성능을 보였으며, DRL 모델이 더 정밀하게 시장 동적 변화에 적응할 수 있었다.
• 현장 실험 결과, DRL 기반 가격 설정(DQN 및 DDPG)은 마진 할인 및 일상 FMCG 가격 설정 시나리오에서 운영 전문가의 수동 가격 설정 전략을 일관되게 뛰어넘었다.
• 사전 훈련 및 평가 파이프라인은 콜드 스타트 문제를 성공적으로 완화하여 기존 데이터에서 안정적인 정책 학습을 가능하게 했다.
• simi-products의 사용은 직접적인 A/B 테스트가 불가능한 상황에서도 신뢰할 수 있는 정책 평가를 가능하게 하여 제안된 평가 메커니즘의 효과성을 입증했다.
• DQN 및 DDPG 모델는 세일 이벤트와 같은 외부 조건 변화가 있는 상황에서도 시장 변동성에 강건하게 유지되어 높은 성능을 발휘했다.