[论文解读] Dynamic Pricing on E-commerce Platform with Deep Reinforcement Learning

Jiaxi Liu, Yidong Zhang+4 more|arXiv (Cornell University)|Sep 27, 2018

Consumer Market Behavior and Pricing被引用 15

一句话总结

本文提出了一种基于深度强化学习（DRL）的电子商务动态定价框架，将定价建模为连续动作的马尔可夫决策过程（MDP）。通过引入一种新颖的奖励函数——收入转化率差异（DRCR），并采用预训练以解决冷启动问题，该方法在阿里巴巴平台的离线与在线实验中，均优于人工定价和基于收益的DRL基线方法，其中连续价格集合表现出更优的性能。

ABSTRACT

In this paper we present an end-to-end framework for addressing the problem of dynamic pricing on E-commerce platform using methods based on deep reinforcement learning (DRL). By using four groups of different business data to represent the states of each time period, we model the dynamic pricing problem as a Markov Decision Process (MDP). Compared with the state-of-the-art DRL-based dynamic pricing algorithms, our approaches make the following three contributions. First, we extend the discrete set problem to the continuous price set. Second, instead of using revenue as the reward function directly, we define a new function named difference of revenue conversion rates (DRCR). Third, the cold-start problem of MDP is tackled by pre-training and evaluation using some carefully chosen historical sales data. Our approaches are evaluated by both offline evaluation method using real dataset of Alibaba Inc., and online field experiments on this http URL, a major online shopping website owned by Alibaba Inc.. In particular, experiment results suggest that DRCR is a more appropriate reward function than revenue, which is widely used by current literature. In the end, field experiments, which last for months on 1000 stock keeping units (SKUs) of products demonstrate that continuous price sets have better performance than discrete sets and show that our approaches significantly outperformed the manual pricing by operation experts.

研究动机与目标

• 解决电子商务平台动态定价中离散定价与基于收益的奖励函数存在的局限性。
• 通过在历史销售数据上进行预训练，提升模型在冷启动场景下的泛化能力与性能。
• 开发一种支持连续动作的DRL框架，实现更灵活、更快速响应的定价决策。
• 在真实电子商务环境中，评估DRCR奖励函数相较于传统基于收益的奖励函数的有效性。

提出的方法

• 利用四组业务数据作为状态特征，将动态定价建模为连续动作的马尔可夫决策过程（MDP）。
• 提出一种新颖的奖励函数——收入转化率差异（DRCR），以更好地与业务目标对齐，而非直接最大化收益。
• 在历史销售数据上进行预训练，以缓解MDP训练中的冷启动问题。
• 采用深度强化学习算法（如DQN或SAC变体）端到端学习从状态到动作（价格）的定价策略。
• 通过在真实阿里巴巴数据集上的离线评估，以及在1000个SKU上的在线实地实验，验证性能表现。
• 使用深度Q网络或演员-critic方法优化定价策略，以DRCR作为主要学习信号。

实验结果

研究问题

• RQ1 在基于DRL的动态定价中，使用连续价格集合是否在真实电子商务环境中优于离散价格集合？
• RQ2 DRCR奖励函数在引导定价策略学习方面是否比直接收益最大化更有效？
• RQ3 在历史数据上进行预训练是否能显著提升DRL驱动的动态定价模型的性能与收敛速度？
• RQ4 在真实世界的在线实地实验中，所提出的DRL框架与运营专家的人工定价相比表现如何？

主要发现

• 离线评估显示，与直接收益最大化相比，DRCR奖励函数能带来更稳定、更有效的策略学习。
• 持续数月的在线实地实验表明，所提出方法在1000个SKU上显著优于运营专家的人工定价。
• 连续价格集合在性能上始终优于离散价格集合，表明其具备更高的灵活性与响应能力。
• 预训练有效缓解了冷启动问题，使模型在早期训练阶段实现更快收敛与更优策略质量。
• 在真实环境下，该框架在关键业务指标（如转化率与收益）上实现了可衡量的提升。
• 连续动作空间与DRCR奖励函数的结合，为大规模电子商务平台提供了更稳健、更具可扩展性的动态定价解决方案。