[論文レビュー] A Coordinated MDP Approach to Multi-Agent Planning for Resource Allocation, with Applications to Healthcare

Hadi Hosseini, Jesse Hoey+1 more|arXiv (Cornell University)|Jul 7, 2014

Auction Theory and Applications参考文献 19被引用数 4

ひとこと要約

本稿では、動的で時間的に制約のある医療環境におけるスケーラブルなマルチエージェントリソース割り当てを実現するため、協調的MDPアプローチを提案する。各エージェントは他のエージェントの平均的統計を用いて期待レジットをモデル化し、期待レジットに基づく反復的オークションに参加する。この手法は、計算コストを低く抑えながらも、最適に近いグローバルなユーティリティを達成し、大規模シミュレーションにおいてモンテカルロ法やヒューリスティックベースラインを上回る性能を示す。

ABSTRACT

This paper considers a novel approach to scalable multiagent resource allocation in dynamic settings. We propose an approximate solution in which each resource consumer is represented by an independent MDP-based agent that models expected utility using an average model of its expected access to resources given only limited information about all other agents. A global auction-based mechanism is proposed for allocations based on expected regret. We assume truthful bidding and a cooperative coordination mechanism, as we are considering healthcare scenarios. We illustrate the performance of our coordinated MDP approach against a Monte-Carlo based planning algorithm intended for large-scale applications, as well as other approaches suitable for allocating medical resources. The evaluations show that the global utility value across all consumer agents is closer to optimal when using our algorithms under certain time constraints, with low computational cost. As such, we offer a promising approach for addressing complex resource allocation problems that arise in healthcare settings.

研究の動機と目的

• 共有リソースへの確率的依存関係を伴う動的マルチエージェントシステムにおける、スケーラブルでリアルタイムなリソース割り当ての課題に対処すること。
• 正確な解の指数的状態空間を回避するため、因子分解されたマルチエージェントMDP（MMDP）の分散近似を構築すること。
• 期待レジットに基づく反復的オークションメカニズムを用いてエージェントを協調させることで、高速で協力的かつプライバシー保護型の割り当てを実現すること。
• 医師や医療機器へのタイムリーなアクセスを通じた患者の健康最適化に注目し、医療文脈におけるアプローチの有効性を評価すること。
• ユーティリティ、スケーラビリティ、計算効率の観点でUCT、FCFS、最悪症例優先ヒューリスティックを上回ることの証明。

提案手法

• 各消費者は、他のエージェントの平均的行動から導かれる確率分布を用いて、期待レジットを計算する独立したMDPエージェントとしてモデル化される。
• グローバルな協調メカニズムは、エージェントが期待レジットに基づいて入札する反復的オークションを用い、通信量を最小限に抑えつつ効率的な割り当てを実現する。
• 本手法は、完全なMMDPをN個の個別MDPに分解し、それぞれが局所状態（健康状態およびリソース利用状況）を追跡し、個々の報酬の合計を表す共同報酬関数を用いる。
• リソース割り当て意思決定は、期待レジットに基づいて行われ、必要なリソースを獲得しなかった場合の機会費用を反映しており、オークションの勝者選定を導く。
• 本システムは、真実の入札と協力的協調を仮定しており、公平性とグローバルユーティリティが重視される医療応用に適している。
• 局所的計画とオークション協調のおかげで、エージェントおよびリソースの数が増加しても、アクション空間の線形増加を維持し、スケーラビリティが良好である。

実験結果

リサーチクエスチョン

• RQ1 期待レジットに基づくオークション協調を用いた分散MDPベースのアプローチは、大規模マルチエージェントリソース割り当てにおいて、最適に近いグローバルユーティリティを達成できるか？
• RQ2 時間的制約下で、提案されたAucMDP手法はUCTおよびヒューリスティックベースラインと比較して、グローバルユーティリティと計算コストの両面で優れているか？
• RQ3 他のエージェントの平均的統計の使用は、システム全体の状態を完全に把握しないまま、効果的な協調を可能にする程度はどの程度か？
• RQ4 エージェントおよびリソースの数が増加する際、アクション空間の増加とパフォーマンスへの影響はいかがなっているか？
• RQ5 反復的オークションメカニズムは、1回の入札や非協調的アプローチと比較して、動的医療シナリオにおいてより速く高品質な割り当てに収束するか？

主な発見

• AucMDPアプローチは、特に時間的制約下において、UCTおよびヒューリスティックベースラインよりも最適に近いグローバルユーティリティ値を達成する。
• 本手法は計算コストが低く、リソース数の増加に伴いアクション数が線形に増加するが、完全なMMDPモデルとは異なり指数的増加を示さない。
• N=30のエージェントにおいて、AucMDPはUCTに比べ、ユーティリティおよびスケーラビリティの両面で優れている。これは、UCTがモンテカルロロールアウトを用いているにもかかわらず同様の結果を示している。
• リソースの多様性が増加する（例：R=20 vs. R=10）とパフォーマンスが向上し、競合が減少するため、割り当てが容易になる。
• 50エージェントがそれぞれ10のリソースと10の状態プロファイルを必要とする状況においても、AucMDPは高いユーティリティを維持し、計算コストを低く保てる。
• 反復的オークションメカニズムにより、通信量を最小限に抑えながらも高速に収束し、完全な好みモデルや繰り返しのMDP解法を必要とする手法を上回る。