[论文解读] Dynamic Programming for Optimal Delivery Time Slot Pricing

Denis Lebedev, Paul J. Goulart+1 more|arXiv (Cornell University)|Oct 25, 2019

Supply Chain and Inventory Management参考文献 18被引用 5

一句话总结

本文提出了一种用于在有人值守的居家配送中实现最优时段定价的动态规划框架，证明了值函数在状态变量上具有唯一的不动点以及连续且拟凹的延拓。这使得在线生鲜物流收益管理中的可扩展近似动态规划成为可能。

ABSTRACT

We study the dynamic programming approach to revenue management in the context of attended home delivery. We draw on results from dynamic programming theory for Markov decision problems to show that the underlying Bellman operator has a unique fixed point. We then provide a closed-form expression for the resulting fixed point and show that it admits a natural interpretation. Moreover, we also show that -- under certain technical assumptions -- the value function, which has a discrete domain and a continuous codomain, admits a continuous extension, which is a finite-valued, concave function of its state variables, at every time step. This result opens the road for achieving scalable implementations of the proposed formulation in future work, as it allows making informed choices of basis functions in an approximate dynamic programming context. We illustrate our findings on a simple numerical example and provide suggestions on how our results can be exploited to obtain closer approximations of the exact value function.

研究动机与目标

• 解决在客户必须在场接收易腐商品的有人值守居家配送中面临的收益管理挑战。
• 通过分析值函数的结构性质，克服动态规划中的维数灾难问题。
• 通过值函数的连续且拟凹的延拓，实现近似动态规划的可扩展实现。
• 通过刻画贝尔曼算子的不动点，为精确的定价策略提供基础。
• 通过闭式表达式和连续函数逼近，支持最优定价的实际部署。

提出的方法

• 将收益管理问题建模为具有离散状态和连续时间的马尔可夫决策过程。
• 应用动态规划理论，证明贝尔曼算子具有唯一的不动点，且该不动点以闭式表达。
• 证明值函数在每个时间步的其状态变量上均具有连续、有限值且拟凹的延拓。
• 利用离散凸分析并基于活跃配送时段支持集的归纳法，建立拟凹闭包性质。
• 通过引入机会成本结构和凸组合，重构动态规划问题，以实现分析上的可处理性。
• 利用詹森不等式和超平面表示法，验证值函数的拟凹可延拓性。

实验结果

研究问题

• RQ1 有人值守配送中的时段定价贝尔曼算子是否具有唯一的不动点？
• RQ2 尽管定义域为离散，值函数是否能在其状态变量上实现连续且拟凹的延拓？
• RQ3 值函数的哪些结构性质使得其在高维状态空间中可实现可扩展的近似？
• RQ4 如何以具有经济可解释性的闭式表达，表示动态规划的不动点？
• RQ5 在何种条件下，值函数能实现有限值且拟凹的延拓，从而支持高效的近似？

主要发现

• 该动态规划的贝尔曼算子具有唯一的不动点，且该不动点以闭式表达被明确刻画。
• 在技术假设下，值函数在每个时间步的状态变量上均具有连续、有限值且拟凹的延拓。
• 该拟凹延拓使得在近似动态规划中可使用有信息的基函数，从而提升可扩展性。
• 贝尔曼算子的不动点对应于活跃配送时段支持集上的一个超平面，确保了结构稳定性。
• 值函数的拟凹延拓使得可通过凸组合和詹森不等式实现更紧致的近似。
• 结果验证了可利用所推导的连续延拓高效近似最优定价策略，支持实际部署。