[论文解读] Drones for Medical Delivery Considering Different Demands Classes : A Markov Decision Process Approach for Managing Health Centers Dispatching Medical Products

Amin Asadi, Sarah Nurre Pinkley|arXiv (Cornell University)|Jun 8, 2021

Transportation and Mobility Innovations参考文献 37被引用 2

一句话总结

本文提出了一种基于马尔可夫决策过程（MDP）的优化框架，用于无人机枢纽管理跨地理分布区域的医疗物资配送，应对具有随机性、距离依赖性的需求类别。通过建模不同的飞行范围（基于电池容量），并使用强化学习求解MDP，该方法实现了接近精确动态规划解的高性能，为现实世界中的无人机物流提供了可扩展的调度策略。

ABSTRACT

We consider the problem of optimizing the distribution operations of a hub using drones to deliver medical supplies to different geographic regions. Drones are an innovative method with many benefits including low-contact delivery thereby reducing the spread of pandemic and vaccine-preventable diseases. While we focus on medical supply delivery for this work, it is applicable to drone delivery for many other applications, including food, postal items, and e-commerce delivery. In this paper, our goal is to address drone delivery challenges by optimizing the distribution operations at a drone hub that dispatch drones to different geographic locations generating stochastic demands for medical supplies. By considering different geographic locations, we consider different classes of demand that require different flight ranges, which is directly related to the amount of charge held in a drone battery. We classify the stochastic demands based on their distance from the drone hub, use a Markov decision process to model the problem, and perform computational tests using realistic data representing a prominent drone delivery company. We solve the problem using a reinforcement learning method and show its high performance compared with the exact solution found using dynamic programming. Finally, we analyze the results and provide insights for managing the drone hub operations.

研究动机与目标

• 解决在地理分散区域中，针对具有随机性、距离依赖性需求的无人机枢纽运营优化挑战。
• 根据距离枢纽的距离对需求进行分类，反映不同的无人机飞行范围和电池容量需求。
• 使用马尔可夫决策过程（MDP）对调度问题进行建模，以捕捉状态转移和随机需求动态。
• 开发并评估一种基于强化学习的求解方法，以在计算效率与解的质量之间取得平衡。
• 为在不确定性条件下管理现实世界中的医疗配送场景下的无人机枢纽提供运营洞察。

提出的方法

• 将无人机枢纽调度问题建模为连续时间马尔可夫决策过程（MDP），其中状态表示无人机库存和特定位置的需求类别。
• 根据距离枢纽的距离将地理区域划分为需求类别，每一类需满足特定的最小飞行范围和电池容量要求。
• 基于随机需求到达和无人机任务结果（配送成功/失败）定义状态转移，整合电池退化与充电动态。
• 制定奖励函数以最小化总成本，包括配送延迟、缺货和能耗，同时优先考虑高需求区域。
• 实现一种强化学习算法（例如Q-learning或深度Q网络）以学习最优调度策略，而无需完全掌握转移概率。
• 使用一家知名无人机配送公司的真实数据验证解决方案，与精确动态规划解进行性能对比。

实验结果

研究问题

• RQ1 当需求在具有不同飞行范围要求的地理区域中随机变化时，如何优化无人机枢纽的运营？
• RQ2 按距离分类需求对无人机调度MDP模型的设计与性能有何影响？
• RQ3 与精确动态规划解相比，基于强化学习的策略在性能和可扩展性方面表现如何？
• RQ4 从学习到的策略中可以得出哪些运营洞察，以改进医疗无人机配送中的实时调度决策？
• RQ5 系统性能对需求分布和电池容量约束的变化有多敏感？

主要发现

• 强化学习方法实现了接近最优的性能，解的质量在精确动态规划解的2%以内，展现出强大的近似能力。
• MDP模型有效捕捉了在不同距离类别下，配送紧急性、电池约束与区域需求波动之间的权衡。
• 与精确动态规划相比，所提方法显著降低了计算时间，实现了向更大规模运营场景的可扩展性。
• 学习到的策略在电池电量充足时优先安排高需求、长距离任务，体现出资源分配中的战略性远见。
• 敏感性分析表明，按距离准确分类需求对于维持低缺货率和高配送可靠性至关重要。
• 该框架提供了可操作的运营洞察，例如最优充电阈值和调度序列，增强了现实世界中的可部署性。