[论文解读] Regret-Based Multi-Agent Coordination with Uncertain Task Rewards

Feng Wu, Nicholas R. Jennings|arXiv (Cornell University)|Sep 8, 2013

Constraint Satisfaction and Optimization参考文献 15被引用 5

一句话总结

本文提出 ICG-Max-Sum，一种去中心化算法，结合迭代约束生成与 Max-Sum，用于求解任务奖励依赖于未知任务状态的不确定奖励 DCOP。该算法在大规模多智能体任务分配中最小化最坏情况遗憾，相较于集中式与去中心化基线方法，在包含数百名智能体和任务的问题中展现出更优的可扩展性与解质量。

ABSTRACT

Many multi-agent coordination problems can be represented as DCOPs. Motivated by task allocation in disaster response, we extend standard DCOP models to consider uncertain task rewards where the outcome of completing a task depends on its current state, which is randomly drawn from unknown distributions. The goal of solving this problem is to find a solution for all agents that minimizes the overall worst-case loss. This is a challenging problem for centralized algorithms because the search space grows exponentially with the number of agents and is nontrivial for standard DCOP algorithms we have. To address this, we propose a novel decentralized algorithm that incorporates Max-Sum with iterative constraint generation to solve the problem by passing messages among agents. By so doing, our approach scales well and can solve instances of the task allocation problem with hundreds of agents and tasks.

研究动机与目标

• 为解决多智能体任务分配中的不确定性挑战，其中任务奖励取决于不可观测、随机抽取但分布未知的任务状态。
• 开发一种去中心化算法，以最小化最坏情况遗憾（即在未知状态下与最优解相比的最大损失）来应对此类不确定性环境。
• 实现对大规模问题（含数百名智能体与任务）的稳健协调，其中集中式求解器变得不可行。
• 在解质量（更低的遗憾）与运行时间效率方面，优于现有去中心化方法（如 DSA）。
• 在时间敏感领域（如灾难响应）中实现实际部署，使智能体即使在初始环境条件信息有限的情况下也能采取行动。

提出的方法

• 将标准 DCOP 扩展为不确定奖励 DCOP（UR-DCOP），引入具有未知有限域分布的独立、不可控随机变量（任务状态）。
• 将问题建模为最小最大遗憾优化：智能体寻求一种解，以最小化在任何可能的任务状态信念下相对于最优解的最大损失。
• 应用迭代约束生成（ICG）将问题分解为主问题（在解空间中进行优化）与子问题（寻找最坏情况信念），通过迭代方式逐步优化解。
• 在主问题与子问题中均采用 Max-Sum 作为底层协调算法，以实现在智能体间去中心化、可扩展的消息传递。
• 在每次迭代中通过信念更新与约束收紧，使解逐步收敛至最小最大遗憾解，同时利用任务分配问题的交互结构。
• 对于环状图，采用近似技术以控制误差并保持稳定性，确保实际收敛。

实验结果

研究问题

• RQ1 去中心化算法能否在任务状态分布未知的多智能体协调问题中有效最小化最坏情况遗憾？
• RQ2 在大规模 UR-DCOP 实例上，所提出的 ICG-Max-Sum 算法相较于集中式与去中心化基线方法，在运行时间与解质量方面表现如何？
• RQ3 将 Max-Sum 与迭代约束生成相结合，能在多大程度上提升不确定任务分配场景下的鲁棒性与收敛性？
• RQ4 在 Max-Sum 无法保证最优的环状因子图中，该算法表现如何？
• RQ5 当关于任务状态的初始信息极少或完全缺失时，该算法能否保持低遗憾与快速收敛？

主要发现

• ICG-Max-Sum 在 100 名智能体与 200 项任务的问题上，运行时间低于 200 秒，而集中式 ICG 方法耗时超过 12 小时且未能完成。
• 在无环图中，ICG-Max-Sum 在大规模问题上的平均遗憾值分别为 355.49 与 475.67，而 DSA 分别为 5973.65 与 23339.31，遗憾值降低超过 10 倍。
• 在环状图中，ICG-Max-Sum 在小规模实例上表现与 DSA 相当或略差，但在 DSA 无法实现有意义收敛时仍保持稳定与收敛。
• 在大规模领域中，ICG-Max-Sum 所需时间显著少于 DSA，因 DSA 的迭代 $ ext{max}_{x^*}$ 与 $ ext{min}_{x'}$ 步骤累积误差并减缓收敛。
• 由于有效利用 Max-Sum 的交互结构，该算法在大规模去中心化环境中表现出稳定且可扩展的性能。
• 在环状图中对 Max-Sum 使用近似技术，成功控制了误差增长，使算法可在复杂拓扑结构中实现实际部署。