[论文解读] A Coordinated MDP Approach to Multi-Agent Planning for Resource Allocation, with Applications to Healthcare

Hadi Hosseini, Jesse Hoey+1 more|arXiv (Cornell University)|Jul 7, 2014

Auction Theory and Applications参考文献 19被引用 4

一句话总结

本文提出了一种协调式MDP方法，用于在动态医疗环境中实现可扩展的多智能体资源分配，其中每个智能体通过其他智能体的平均统计数据来建模其预期效用，并参与基于预期遗憾的迭代拍卖。该方法在计算成本较低的情况下实现了接近最优的全局效用，在大规模模拟中优于蒙特卡洛和启发式基线方法。

ABSTRACT

This paper considers a novel approach to scalable multiagent resource allocation in dynamic settings. We propose an approximate solution in which each resource consumer is represented by an independent MDP-based agent that models expected utility using an average model of its expected access to resources given only limited information about all other agents. A global auction-based mechanism is proposed for allocations based on expected regret. We assume truthful bidding and a cooperative coordination mechanism, as we are considering healthcare scenarios. We illustrate the performance of our coordinated MDP approach against a Monte-Carlo based planning algorithm intended for large-scale applications, as well as other approaches suitable for allocating medical resources. The evaluations show that the global utility value across all consumer agents is closer to optimal when using our algorithms under certain time constraints, with low computational cost. As such, we offer a promising approach for addressing complex resource allocation problems that arise in healthcare settings.

研究动机与目标

• 解决在共享资源存在随机依赖关系的动态多智能体系统中，可扩展且实时的资源分配挑战。
• 开发一种因子化多智能体MDP（MMDP）的分布式近似方法，避免精确解法带来的指数级状态空间问题。
• 通过基于预期遗憾的迭代拍卖机制协调智能体，实现在通信量最小情况下的快速、协作式且保护隐私的资源分配。
• 在医疗背景下评估该方法，重点通过及时获取医生和医疗设备来优化患者健康状况。
• 在效用、可扩展性和计算效率方面，证明其优于UCT、FCFS和最严重优先启发式方法。

提出的方法

• 每个消费者被建模为一个独立的MDP智能体，利用其他智能体平均行为所导出的概率分布来计算预期遗憾。
• 全局协调机制采用迭代拍卖，智能体根据预期遗憾出价，确保在通信量最小的情况下实现高效分配。
• 该方法将完整MMDP分解为N个独立MDP，每个智能体跟踪本地状态（健康状况和资源利用率），并使用将个体奖励相加的联合奖励函数。
• 资源分配决策基于预期遗憾，反映未获得所需资源的机会成本，从而指导拍卖胜出者的选取。
• 系统假设诚实出价和协作协调，适用于医疗应用中优先考虑公平性和全局效用的场景。
• 该方法在智能体和资源数量增加时仍保持良好可扩展性，由于局部规划与拍卖协调，动作空间呈线性增长。

实验结果

研究问题

• RQ1 基于分布式MDP并结合基于遗憾的拍卖协调机制，是否能在大规模多智能体资源分配中实现接近最优的全局效用？
• RQ2 在时间约束下，所提出的AucMDP方法与UCT及启发式基线相比，在全局效用和计算成本方面表现如何？
• RQ3 使用其他智能体的平均统计数据在不掌握完整系统状态的情况下，能在多大程度上实现有效协调？
• RQ4 随着智能体和资源数量的增加，系统在动作空间增长和性能方面的可扩展性如何？
• RQ5 在动态医疗场景中，迭代拍卖机制是否比一次性或非协作方法更快收敛到高质量分配？

主要发现

• AucMDP方法在时间约束下实现的全局效用值比UCT和启发式基线更接近最优。
• 该方法计算成本极低，当资源数量增加时，动作数量呈线性增长，而完整MMDP模型则呈现指数级增长。
• 在N=30个智能体的情况下，AucMDP在效用和可扩展性方面均优于UCT，尽管UCT使用了蒙特卡洛滚动。
• 随着资源多样性增加（如R=20 vs. R=10），性能提升，因为冲突减少，使分配更易实现。
• 该方法可有效扩展至50个智能体，每个智能体需10项资源及10种病情状态，同时保持高效率和低计算成本。
• 迭代拍卖机制确保快速收敛且通信量最小，优于需要完整偏好模型或重复求解完整MDP的方法。