[论文解读] Constrained Multiagent Rollout and Multidimensional Assignment with the Auction Algorithm

Dimitri P. Bertsekas|arXiv (Cornell University)|Feb 18, 2020

Auction Theory and Applications被引用 6

一句话总结

本文提出了一种约束多智能体滚动算法，用于求解具有耦合控制的组合优化问题，以拍卖算法作为基础启发式方法以实现成本改进。结果表明，该滚动方法保持了可行性，并在成本上优于基础启发式方法，尤其适用于具有分层时空结构的多维分配问题。

ABSTRACT

We consider an extension of the rollout algorithm that applies to constrained deterministic dynamic programming, including challenging combinatorial optimization problems. The algorithm relies on a suboptimal policy, called base heuristic. Under suitable assumptions, we show that if the base heuristic produces a feasible solution, the rollout algorithm has a cost improvement property: it produces a feasible solution, whose cost is no worse than the base heuristic's cost. We then focus on multiagent problems, where the control at each stage consists of multiple components (one per agent), which are coupled either through the cost function or the constraints or both. We show that the cost improvement property is maintained with an alternative implementation that has greatly reduced computational requirements, and makes possible the use of rollout in problems with many agents. We demonstrate this alternative algorithm by applying it to layered graph problems that involve both a spatial and a temporal structure. We consider in some detail a prominent example of such problems: multidimensional assignment, where we use the auction algorithm for 2-dimensional assignment as a base heuristic. This auction algorithm is particularly well-suited for our context, because through the use of prices, it can advantageously use the solution of an assignment problem as a starting point for solving other related assignment problems, and this can greatly speed up the execution of the rollout algorithm.

研究动机与目标

• 解决具有多个智能体和耦合控制的约束确定性动态规划问题的挑战。
• 开发一种高效的滚动算法，在降低大规模多智能体系统计算复杂度的同时，保持成本改进特性。
• 将该方法应用于具有空间和时间结构的分层图问题，特别是多维分配问题。
• 利用拍卖算法在相似二维分配问题间复用解的能力，以加速滚动计算。
• 证明滚动算法在复杂耦合约束下仍能产生可行解，且成本不劣于基础启发式方法。

提出的方法

• 将滚动算法扩展至具有多智能体控制的约束确定性动态规划问题，其中每个智能体的动作是联合控制向量的一部分。
• 采用一种基础启发式方法——具体为基于二维拍卖的强制分离启发式方法——以获得初始次优解。
• 应用一种改进的滚动过程，按阶段逐步固定分配，从最终阶段开始倒推，利用更新后的成本反映已固定的分配。
• 利用拍卖算法求解二维分配子问题，通过价格变量实现跨相似问题的热启动。
• 通过将一个二维分配问题的最终价格复用为下一个问题的初始价格，确保计算效率，从而减少每个问题的求解时间。
• 通过在每个滚动步骤中强制执行约束并向前传播已固定的分配，保持可行性与成本改进。

实验结果

研究问题

• RQ1 滚动算法能否被适配于具有耦合控制和约束的约束多智能体动态规划问题？
• RQ2 当应用于具有时空结构的多维分配问题时，滚动方法是否能保持成本改进特性？
• RQ3 拍卖算法的热启动能力是否能显著降低多维分配问题中滚动算法的计算成本？
• RQ4 在解的质量和计算时间方面，滚动算法与基础启发式方法相比表现如何？
• RQ5 所提出的滚动算法的计算复杂度（以求解的二维分配问题数量计）是多少？

主要发现

• 在适当假设下，滚动算法保证实现成本改进：解的成本不劣于基础启发式方法。
• 即使基础启发式方法产生可行解，该算法仍能保持可行性，确保实际可用性。
• 对于三维分配问题，滚动方法最多求解 $ m^2 + 1 $ 个二维分配问题，其中 $ m $ 为智能体或任务的数量。
• 使用拍卖算法作为基础启发式方法，通过复用一个二维分配问题的最终价格作为后续问题的起点，可实现显著加速。
• 对于 $ (N+1) $ 维分配问题，总共求解的二维分配问题数量为 $ (m+1)(N-2) $，该值在 $ m $ 和 $ N $ 上仍为多项式时间。
• 由于替代滚动实现方式的计算需求降低，该方法可扩展至大规模多智能体系统。