[論文レビュー] Regret-Based Multi-Agent Coordination with Uncertain Task Rewards

Feng Wu, Nicholas R. Jennings|arXiv (Cornell University)|Sep 8, 2013

Constraint Satisfaction and Optimization参考文献 15被引用数 5

ひとこと要約

本稿では、未知のタスク状態に依存する不確実な報酬を持つDCOPを解く分散型アルゴリズムであるICG-Max-Sumを提案する。タスク報酬は未知のタスク状態に依存するが、その分布は不明である。本手法は大規模なマルチエージェントタスク割り当てにおいて、最悪ケースの後悔を最小化する。100人以上のエージェントとタスクを含む問題において、中央集権的および分散型のベースラインと比較して、スケーラビリティと解の品質の両面で優れている。

ABSTRACT

Many multi-agent coordination problems can be represented as DCOPs. Motivated by task allocation in disaster response, we extend standard DCOP models to consider uncertain task rewards where the outcome of completing a task depends on its current state, which is randomly drawn from unknown distributions. The goal of solving this problem is to find a solution for all agents that minimizes the overall worst-case loss. This is a challenging problem for centralized algorithms because the search space grows exponentially with the number of agents and is nontrivial for standard DCOP algorithms we have. To address this, we propose a novel decentralized algorithm that incorporates Max-Sum with iterative constraint generation to solve the problem by passing messages among agents. By so doing, our approach scales well and can solve instances of the task allocation problem with hundreds of agents and tasks.

研究の動機と目的

• 観察できない、確率的に選ばれるタスク状態の分布が不明である不確実な状況下でのマルチエージェントタスク割り当ての課題に対処すること。
• 未知の状態下での最適解との差を最大限に抑える「最悪ケースの後悔」を最小化する分散型アルゴリズムを開発すること。
• 中央集権的ソルバが非効率になる数百人のエージェントとタスクを含む大規模問題に対しても、頑健な協調をスケーリングすること。
• 解の品質（低い後悔）と実行時間効率の両面で、DSAのような既存の分散型手法を上回ること。
• 災害対応のような時間的に制限のある分野での実用的導入を可能とすること。この分野では、環境状態に関する初期情報が限られている状況でもエージェントが行動をとらなければならない。

提案手法

• 標準的なDCOPを、独立的かつ制御不能な確率変数（タスク状態）を導入する不確実な報酬DCOP（UR-DCOP）に拡張する。タスク状態の分布は有限ドメインで未知である。
• 最悪ケースの後悔最適化として問題を定式化する。エージェントは、タスク状態に関するあらゆる信念のもとでの最適解との差の最大値を最小化する解を求める。
• 反復的制約生成（ICG）を適用し、問題をマスタープロブレム（解の最適化）とサブプロブレム（最悪ケースの信念の特定）に分解する。反復的に解を改善する。
• マスタープロブレムおよびサブプロブレムの両方でMax-Sumを下位の協調アルゴリズムとして用い、エージェント間の分散型でスケーラブルなメッセージパッシングを実現する。
• 各反復で信念の更新と制約の厳密化を実施し、タスク割り当て問題の相互作用構造を活用することで、最悪ケースの後悔解に収束させる。
• 循環グラフの場合、誤差を制限し安定性を保つための近似手法を適用し、実用的な収束を確保する。

実験結果

リサーチクエスチョン

• RQ1 未知のタスク状態分布を伴うマルチエージェント協調問題において、分散型アルゴリズムが最悪ケースの後悔を効果的に最小化できるか。
• RQ2 大規模なUR-DCOPインスタンスにおいて、ICG-Max-Sumアルゴリズムは中央集権的および分散型ベースラインと比較して、実行時間と解の品質の両面でどのようにスケーリングするか。
• RQ3 Max-Sumと反復的制約生成の統合が、不確実なタスク割り当て環境における頑健性と収束性をどの程度向上させるか。
• RQ4 Max-Sumが最適でないことが保証されていない循環的要因グラフにおいて、アルゴリズムはどのように動作するか。
• RQ5 タスク状態に関する初期情報が最小限または欠落している状況でも、アルゴリズムは低い後悔と高速な収束を維持できるか。

主な発見

• ICG-Max-Sumは、100人のエージェントと200件のタスクを含む問題を200秒未満で解いた。一方、中央集権的ICG法は12時間以上を要し、処理を完了できなかった。
• 非循環的グラフでは、ICG-Max-Sumは大規模問題で平均後悔値がそれぞれ355.49および475.67であったのに対し、DSAは5973.65および23339.31であった。後悔は10倍以上削減された。
• 循環的グラフでは、小規模なインスタンスにおいてICG-Max-SumはDSAと同等またはわずかに劣るが、DSAが有意に収束しなかったのに対し、ICG-Max-Sumは安定性と収束性を維持した。
• 大規模なドメインでは、DSAの反復的$ ext{max}_{x^*}$および$ ext{min}_{x'}$ステップによる誤差蓄積と収束遅延を考慮すると、ICG-Max-Sumは大幅に短時間で処理を完了した。
• Max-Sumによる相互作用構造の効果的な活用のおかげで、大規模かつ分散型の環境下でも、アルゴリズムの性能は安定的かつスケーラブルであった。
• 循環的グラフにおけるMax-Sumへの近似手法の適用により、誤差の増大が効果的に制限され、複雑なトポロジーでも実用的な展開が可能になった。