[論文レビュー] Dynamic Programming for Optimal Delivery Time Slot Pricing

Denis Lebedev, Paul J. Goulart+1 more|arXiv (Cornell University)|Oct 25, 2019

Supply Chain and Inventory Management参考文献 18被引用数 5

ひとこと要約

本稿では、受取人が存在する必要がある宅配の最適な時間帯料金設定のための動的計画法フレームワークを構築し、価値関数が一意の不動点を有し、状態変数にわたって連続的かつ凹型に拡張可能であることを証明した。これにより、オンライン野菜物流における収益管理のためのスケーラブルな近似動的計画法が可能になった。

ABSTRACT

We study the dynamic programming approach to revenue management in the context of attended home delivery. We draw on results from dynamic programming theory for Markov decision problems to show that the underlying Bellman operator has a unique fixed point. We then provide a closed-form expression for the resulting fixed point and show that it admits a natural interpretation. Moreover, we also show that -- under certain technical assumptions -- the value function, which has a discrete domain and a continuous codomain, admits a continuous extension, which is a finite-valued, concave function of its state variables, at every time step. This result opens the road for achieving scalable implementations of the proposed formulation in future work, as it allows making informed choices of basis functions in an approximate dynamic programming context. We illustrate our findings on a simple numerical example and provide suggestions on how our results can be exploited to obtain closer approximations of the exact value function.

研究の動機と目的

• 腐敗しやすい商品の配達において、受取人が存在する必要がある状況における収益管理の課題に取り組む。
• 価値関数の構造的性質を分析することで、動的計画法における次元の呪いを克服する。
• 連続的かつ凹型の価値関数の拡張を通じて、近似動的計画法のスケーラブルな実装を可能にする。
• ベルマン作用素の不動点を特徴づけることで、正確な価格戦略の基盤を提供する。
• 閉形式表現と連続関数近似を通じて、最適価格設定の実用的導入を支援する。

提案手法

• 離散的状態と連続的時間を持つマルコフ決定過程として収益管理問題を定式化する。
• 動的計画法理論を適用し、ベルマン作用素が一意の不動点を有することを示し、閉形式で導出する。
• 技術的仮定のもとで、各時刻において価値関数が状態変数にわたって連続的かつ有限値かつ凹型に拡張可能であることを証明する。
• 離散的凸分析と、有効な配達時間帯のサポートに関する帰納法を用いて、凹型閉包性質を確立する。
• 解析的扱いやすさを向上させるために、機会費用構造と凸結合を用いて動的計画を再定式化する。
• ジェンセンの不等式と超平面表現を活用し、価値関数の凹型拡張可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 受取人が必要な宅配における時間帯料金設定のベルマン作用素は、一意の不動点を有するか？
• RQ2 離散的定義域であっても、状態変数にわたる価値関数の連続的かつ凹型拡張は可能か？
• RQ3 価値関数のどの構造的性質が、高次元状態空間におけるスケーラブルな近似を可能にするか？
• RQ4 経済的解釈可能性を備えた閉形式で、動的計画の不動点をどのように表現できるか？
• RQ5 どのような条件下で、価値関数は有限値かつ凹型に拡張可能となり、効率的な近似を可能にするか？

主な発見

• 動的計画のベルマン作用素は一意の不動点を有し、それが閉形式で解析的に特徴づけられている。
• 技術的仮定のもとで、各時刻において価値関数は状態変数にわたって連続的かつ有限値かつ凹型に拡張可能である。
• この凹型拡張により、近似動的計画法における情報に基づいた基底関数の使用が可能となり、スケーラビリティが向上した。
• ベルマン作用素の不動点は、配達時間帯の有効サポート上での超平面に対応し、構造的安定性を保証する。
• 価値関数の凹型拡張により、凸結合とジェンセンの不等式を用いたよりタイトな近似が可能になった。
• 結果として、導出された連続的拡張を用いることで、最適価格設定戦略が効率的に近似可能であることが検証され、実用的導入を支援した。