[论文解读] A Probabilistic Simulator of Spatial Demand for Product Allocation

Porter Jenkins, Hua Wei+2 more|arXiv (Cornell University)|Jan 9, 2020

Consumer Market Behavior and Pricing参考文献 15被引用 6

一句话总结

该论文提出了一种概率性空间需求模拟器（PSD-sim），用于在实体零售环境中对产品布局进行建模与优化，实现对不同门店布局下需求模式的成本效益模拟。该模拟器基于真实零售数据进行训练，使强化学习——特别是深度Q网络（DQN）——能够发现最优的产品分配策略，在累积奖励方面相比基线方法平均提升24.5%。

ABSTRACT

Connecting consumers with relevant products is a very important problem in both online and offline commerce. In physical retail, product placement is an effective way to connect consumers with products. However, selecting product locations within a store can be a tedious process. Moreover, learning important spatial patterns in offline retail is challenging due to the scarcity of data and the high cost of exploration and experimentation in the physical world. To address these challenges, we propose a stochastic model of spatial demand in physical retail. We show that the proposed model is more predictive of demand than existing baselines. We also perform a preliminary study into different automation techniques and show that an optimal product allocation policy can be learned through Deep Q-Learning.

研究动机与目标

• 解决在数据稀疏且现实实验成本高昂的实体零售环境中优化产品布局的挑战。
• 开发一种概率性模拟器，准确建模门店各区域之间的空间需求模式，反映真实世界中的销售动态。
• 在模拟环境中利用强化学习实现产品分配策略的自动化学习。
• 评估不同优化技术（尤其是深度Q学习）在发现高性能分配策略方面的有效性。
• 证明基于模拟的训练方法在预测和最大化收入方面优于传统启发式方法（如禁忌搜索）。

提出的方法

• 将空间零售环境建模为图 $\mathcal{R} = (\mathcal{V}, \mathcal{E})$，其中顶点表示门店区域，边表示空间邻接关系。
• 基于两家零售门店的真实历史销售和产品布局数据，训练一种概率性空间需求模型（PSD-sim），以预测各区域的需求分布。
• 该模型捕捉产品位置与销售额之间的非线性、复杂相关性，从而能够生成未观测配置下的合成数据。
• 将模拟器用作训练深度Q网络（DQN）智能体的奖励环境，以学习最优产品分配策略。
• DQN智能体在马尔可夫决策过程（MDP）框架下运行，其状态空间为产品-区域分配，动作空间为重新定位动作，奖励函数为累积收入。
• 通过模拟器实现蒙特卡洛滚动，无需实际实验即可高效探索新型分配策略。

实验结果

研究问题

• RQ1 概率性模拟器能否准确恢复实体零售环境中的实际空间需求模式？
• RQ2 所提出的模拟器在生成未观测产品布局配置下的真实需求预测方面效果如何？
• RQ3 强化学习智能体（尤其是深度Q学习）是否能学习到优于启发式基线的更优产品分配策略？
• RQ4 该模拟器在多大程度上减少了在优化产品布局过程中对昂贵现实实验的依赖？
• RQ5 在累积收入方面，DQN相比传统优化方法（如禁忌搜索）的性能提升程度如何？

主要发现

• 所提出的概率性空间需求模拟器（PSD-sim）在两个真实零售环境中有效恢复了真实测试数据，表现出强大的预测准确性。
• 该模拟器实现了高效且低成本的产品布局策略探索，显著降低了对昂贵物理实验的依赖。
• 深度Q学习（DQN）在模拟环境中成功学习到最优产品分配策略，优于基线方法。
• 平均而言，DQN在累积测试奖励方面相比禁忌搜索（一种强基线）提升了24.5%。
• 该模型捕捉到了产品位置与销售额之间复杂的非线性空间依赖关系，而简单模型无法有效表达此类关系。
• 模拟器支持可扩展的策略搜索，并可用于在强化学习中执行蒙特卡洛滚动，实现高效探索。