[论文解读] Dynamic Pricing on E-commerce Platform with Deep Reinforcement Learning: A Field Experiment

Jiaxi Liu, Yidong Zhang+3 more|arXiv (Cornell University)|Dec 5, 2019

Supply Chain and Inventory Management参考文献 40被引用 10

一句话总结

本文提出了一种基于深度强化学习（DRL）的动态定价框架，用于电子商务平台，将定价建模为具有连续价格动作的马尔可夫决策过程（MDP），并引入一种新颖的收入转化率差异（DRCR）奖励函数。在淘宝网（Tmall.com）针对数千个SKU的实地实验表明，DRL优于人工定价和基于传统收入的奖励函数，DDPG与DQN分别实现了较人工对照组6.07倍和5.03倍更高的DRCR。

ABSTRACT

In this paper we present an end-to-end framework for addressing the problem of dynamic pricing (DP) on E-commerce platform using methods based on deep reinforcement learning (DRL). By using four groups of different business data to represent the states of each time period, we model the dynamic pricing problem as a Markov Decision Process (MDP). Compared with the state-of-the-art DRL-based dynamic pricing algorithms, our approaches make the following three contributions. First, we extend the discrete set problem to the continuous price set. Second, instead of using revenue as the reward function directly, we define a new function named difference of revenue conversion rates (DRCR). Third, the cold-start problem of MDP is tackled by pre-training and evaluation using some carefully chosen historical sales data. Our approaches are evaluated by both offline evaluation method using real dataset of Alibaba Inc., and online field experiments starting from July 2018 with thousands of items, lasting for months on Tmall.com. To our knowledge, there is no other DP field experiment using DRL before. Field experiment results suggest that DRCR is a more appropriate reward function than revenue, which is widely used by current literature. Also, continuous price sets have better performance than discrete sets and our approaches significantly outperformed the manual pricing by operation experts.

研究动机与目标

• 解决在复杂多变市场条件下，针对大型电商平台上数千个SKU的实时动态定价挑战。
• 通过支持连续价格集合和新颖的奖励函数（DRCR）而非直接收入，克服先前DRL研究的局限性。
• 通过在历史数据上进行预训练与评估，解决DRL定价中的冷启动问题。
• 建立有效的在线评估机制以评估定价策略，规避因价格差异而受法律限制的A/B测试。
• 通过在淘宝网（Tmall.com）的大规模实地实验，证明DRL在真实电商环境中的有效性。

提出的方法

• 将动态定价建模为马尔可夫决策过程（MDP），状态由四组业务特征（库存、需求、定价历史、市场背景）定义。
• 提出离散与连续动作空间以支持在连续价格范围内实现实时价格调整。
• 引入收入转化率差异（DRCR）作为奖励函数，以更好地反映盈利能力，并处理凹性收入动态。
• 实施基于历史销售数据的预训练与评估流程，以缓解DRL训练中的冷启动问题。
• 利用“相似产品”（simi-products）——即具有相似需求模式的产品——进行策略评估，实现在无直接A/B测试情况下的间接比较。
• 应用DQN与DDPG算法端到端学习定价策略，超参数经调优以确保稳定性和性能。

实验结果

研究问题

• RQ1 深度强化学习能否在具有连续价格调整能力的真实大规模电商环境中有效优化动态定价？
• RQ2 在波动性市场中，收入转化率差异（DRCR）是否作为奖励函数优于直接收入？
• RQ3 当在真实产品数据上训练且初始经验有限时，如何缓解DRL定价中的冷启动问题？
• RQ4 能否在不违反基于价格的A/B测试法律限制的前提下，建立有效的定价策略在线评估机制？
• RQ5 DRL驱动的动态定价在长期盈利能力和收入转化方面是否显著优于人工定价策略？

主要发现

• DRCR奖励函数显著优于直接收入作为奖励信号，DRL策略在快消品（FMCG）实验中实现的DRCR比人工定价高出6.07倍。
• 连续价格集合的性能优于离散集合，因为DRL模型能更精确地适应市场动态。
• 实地实验表明，基于DRL的定价（DQN与DDPG）在折扣与日常快消品定价场景中，均持续优于由运营专家执行的人工定价。
• 预训练与评估流程成功缓解了冷启动问题，实现了从历史数据中稳定学习策略。
• 利用相似产品（simi-products）实现了可靠的策略评估，无需直接A/B测试，验证了所提评估机制的有效性。
• DQN与DDPG模型对市场波动（如促销活动）表现出强鲁棒性，在外部条件变化时仍能保持高性能。