[論文レビュー] Approximate Dynamic Programming for Delivery Time Slot Pricing: a Sensitivity Analysis

Denis Lebedev, Kostas Margellos+1 more|arXiv (Cornell University)|Aug 3, 2020

Supply Chain and Inventory Management参考文献 19被引用数 5

ひとこと要約

本稿では、モデルの不確実性下でもロバストでリアルタイムな価格設定を可能にする、凸最適化を用いた状態フィードバック付き非線形価値関数近似を実行する勾配有界動的計画法（GDP）を、受取人同伴型宅配の時間枠価格設定最適化のための優れた近似動的計画法として提案する。GDPは、収益性と計算効率の両面でアフィンおよび非線形確率的双対DPを上回る性能を示す。

ABSTRACT

We consider the revenue management problem of finding profit-maximising prices for delivery time slots in the context of attended home delivery. This multi-stage optimal control problem admits a dynamic programming formulation that is intractable for realistic problem sizes due to the so-called "curse of dimensionality". Therefore, we study three approximate dynamic programming algorithms both from a control-theoretical perspective and in a parametric numerical case study. Our numerical analysis is based on real-world data, from which we generate multiple scenarios to stress-test the robustness of the pricing policies to errors in model parameter estimates. Our theoretical analysis and numerical benchmark tests show that one of these algorithms, namely gradient-bounded dynamic programming, dominates the others with respect to computation time and profit-generation capabilities of the delivery slot pricing policies that it generates. Finally, we show that uncertainty in the estimates of the model parameters further increases the profit-generation dominance of this approach.

研究の動機と目的

• 収益管理の課題に取り組み、利益を最大化するための時間枠価格設定を最適化する。
• 現実の配達物流問題における動的計画法の次元の呪いを克服する。
• アフィン価値関数近似、非線形確率的双対DP、勾配有界DPの3つの近似動的計画法を、計算効率と収益生成の観点から評価・比較する。
• 実世界のデータとマルチスナリオストレステストを用いて、モデルパラメータの不確実性下でのアルゴリズムのロバスト性を評価する。
• 勾配有界DPが収益性と計算時間の両面で優れた性能を示すことを実証するが、特に推定誤差下でもその優位性を維持する。

提案手法

• [13]で提示された勾配有界DPアルゴリズムを、受取人同伴型宅配の収益管理問題に適応し、凸最適化を用いて非線形価値関数近似を計算する。
• 注文数の時間枠ごとの変動を状態フィードバックとして用いて、多段階最適制御問題として価格設定問題を定式化する。
• 顧客の選好行動を時間枠と価格の組み合わせで表現するための多項ロジットモデルを採用し、実世界のデータからパラメータを推定する。
• 余分な正則化項を省略することで非線形確率的双対DPの簡略化版を実装し、閉ループ制御能力を維持する。
• アフィン価値関数近似をベースラインとして採用し、その勾配が定数であるため開ループ制御器を生成するという理論的制限を指摘する。
• パラメータ不確実性の異なる水準（σ² ∈ {0.01, 0.1, 1}）を想定したマルチスナリオ数値ケーススタディを実施し、推定誤差下でのロバストネスと性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる近似動的計画法は、配達時間枠価格設定において収益生成と計算速度の観点でどのように性能を発揮するか？
• RQ2 この文脈におけるアフィン価値関数近似の理論的制限は何か？ そして、制御フィードバック構造にどのような影響を与えるか？
• RQ3 非線形価値関数近似による確率的双対DPは、アフィン近似よりも優れた状態フィードバックを提供できるか？ その場合の計算コストとのトレードオフは何か？
• RQ4 顧客選好モデルのパラメータ不確実性は、各アルゴリズムの性能にどのように影響を与えるか？ どのアルゴリズムが最もロバストか？
• RQ5 勾配有界DPは、現実的なモデル推定誤差下でもその性能優位性を維持できるか？ その理由は何か？

主な発見

• 勾配有界DPは、特にパラメータ不確実性下でアフィン価値関数近似を著しく上回り、σ² = 1の条件下で収益の低下が1桁減少する。
• アフィン価値関数近似法は、勾配が定数であるため、すべての可能な状態で同一の価格を生成する開ループ制御器を生じさせ、モデル誤差に対して極めて脆弱である。
• 非線形確率的双対DPは状態フィードバックと不確実性へのロバストネスを提供するが、非凸最適化問題の解法に起因し、計算コストが非常に高い。
• 勾配有界DPは、凸最適化による非線形価値関数近似を実現することで、収益性と高速な計算の両立を達成する最良のバランスを実現する。
• パラメータ不確実性が増加する（σ² = 0.01 から 1 へ）に伴い、GDPおよび非線形双対DPは高い性能を維持するが、アフィン近似は急激に劣化し、期待収益の最大90％を失う。
• ケーススタディにより、GDPの収益性および計算時間における優位性が、顧客選好モデルのパラメータが誤って指定されても維持されることを確認した。これにより、実用的妥当性が示された。