[論文レビュー] Platelet Inventory Management with Approximate Dynamic Programming

Hossein Abouee‐Mehrizi, Mahdi Mirjalili+1 more|arXiv (Cornell University)|Jul 18, 2023

Blood donation and transfusion practicesBusiness, Management and Accounting被引用数 3

ひとこと要約

本稿では、在庫の自己決定的でない賞味期限の不確実性と固定発注コストを伴う血液血小板在庫管理に対して、基底関数近似を用いたシミュレーションベースの政策反復法を用いた近似動的計画法（ADP）アプローチを提案する。ADP政策は、歴史的病院実務と比較して、期限切れ率と不足率を50％以上削減し、賞味期限の不確実性を無視する正確な政策よりも優れた性能を示すが、大規模インスタンスに対しても計算的に実行可能である。

ABSTRACT

We study a stochastic perishable inventory control problem with endogenous (decision-dependent) uncertainty in shelf-life of units. Our primary motivation is determining ordering policies for blood platelets. Determining optimal ordering quantities is a challenging task due to the short maximum shelf-life of platelets (3-5 days after testing) and high uncertainty in daily demand. We formulate the problem as an infinite-horizon discounted Markov Decision Process (MDP). The model captures salient features observed in our data from a network of Canadian hospitals and allows for fixed ordering costs. We show that with uncertainty in shelf-life, the value function of the MDP is non-convex and key structural properties valid under deterministic shelf-life no longer hold. Hence, we propose an Approximate Dynamic Programming (ADP) algorithm to find approximate policies. We approximate the value function using a linear combination of basis functions and tune the parameters using a simulation-based policy iteration algorithm. We evaluate the performance of the proposed policy using extensive numerical experiments in parameter regimes relevant to the platelet inventory management problem. We further leverage the ADP algorithm to evaluate the impact of ignoring shelf-life uncertainty. Finally, we evaluate the out-of-sample performance of the ADP algorithm in a case study using real data and compare it to the historical hospital performance and other benchmarks. The ADP policy can be computed online in a few minutes and results in more than 50% lower expiry and shortage rates compared to the historical performance. In addition, it performs better or as well as an exact policy that ignores uncertainty in shelf-life and becomes hard to compute for larger instance of the problem.

研究の動機と目的

• 発注量に依存する賞味期限が不確実である病院における血小板発注最適化の課題に対処すること。
• 固定発注コストと確率的需要を考慮する計算効率の良い政策を開発すること。これは、現実の血小板供給チェーンで一般的な要因である。
• 賞味期限の不確実性を無視した場合の在庫パフォーマンスへの影響と、政策の部分最適性への影響を評価すること。
• カナダの病院から得た実データを用いてADP政策を検証し、歴史的およびベンチマーク政策と比較すること。
• 自己決定的賞味期限の不確実性を考慮することにより、決定論的仮定よりも著しく優れた在庫成果が得られることを示すこと。

提案手法

• 確率的需要と自己決定的賞味期限の不確実性を伴う割引無限時系列のマルコフ決定過程（MDP）として問題を定式化する。
• 価値関数の近似に基底関数の線形結合を用い、スケーラブルな政策学習を可能にする。
• 価値関数近似のパrameterを調整するため、シミュレーションベースの政策反復アルゴリズムを採用する。
• より大きな問題インスタンスにおけるパフォーマンス評価のため、情報緩和下限値を組み込む。
• カナダの病院から得た実際の血小板在庫データを用いたアウトオブサンプルテストにより、ADP政策を検証する。
• ADP政策を、決定論的賞味期限を仮定する正確な解、短視的政策、および歴史的病院発注行動と比較する。

Figure 1: Comparing the expected cost function, value function, and optimal policy obtained under the fixed ordering cost of $f=10$ and endogenous shelf-life uncertainty (left column) with those obtained under zero fixed ordering cost and endogenous (middle column) or deterministic shelf-life (right

実験結果

リサーチクエスチョン

• RQ1 発注量に依存する自己決定的賞味期限の不確実性が、血小板在庫システムにおける最適発注政策の構造にどのように影響を与えるか？
• RQ2 期限切れの不確実性を無視した場合、消耗性医療在庫の発注政策設計においてどのようなパフォーマンスペナルティが生じるか？
• RQ3 確率的賞味期限と固定発注コストを考慮するADPベースの政策は、決定論的賞味期限を仮定する正確な政策を上回ることができるか？
• RQ4 期限切れ率、不足率、および保有コストの観点から、ADP政策は歴史的病院発注実務と比べてどのように異なるか？
• RQ5 複雑な需要および賞味期限パターンを示す実世界データに適用した場合、ADPフレームワークはどれほど頑健で効果的であるか？

主な発見

• ADP政策は、研究対象病院の歴史的病院実務と比較して、期限切れ率と不足率を50％以上削減した。
• ADP政策は、決定論的賞味期限を仮定する正確な政策と同等またはそれ以上のパフォーマンスを達成したが、後者は大規模インスタンスでは計算的に実行不可能であった。
• 賞味期限の不確実性が存在する状況における価値関数は非凸であるため、従来の動的計画法で用いられる重要な構造的仮定が無効である。
• 自己決定的賞味期限の不確実性を考慮することで、平均在庫レベルが低下し、特に固定発注コストが高い場合に発注回数も減少する。
• ADPアルゴリズムは数分でオンラインで計算可能であり、実時間での展開に実用的である。これに対して、オフラインの正確な手法とは対照的である。
• ADP政策は短視的政策よりも一貫して優れた性能を示し、大規模インスタンスでは情報緩和下限値を下回るコストを達成しており、優れたアウトオブサンプル性能を示している。

(a)