[论文解读] Influence-Optimistic Local Values for Multiagent Planning --- Extended Version

Frans A. Oliehoek, Matthijs T. J. Spaan+1 more|arXiv (Cornell University)|Feb 18, 2015

Multi-Agent Systems and Negotiation参考文献 48被引用 3

一句话总结

本文提出了一种无需因子化价值函数的分解型Dec-POMDPs的影响乐观上界（IO-UBs），通过对外部影响的乐观假设，实现基于局部子问题分解的紧致全局上界。该方法在包含数百名智能体的问题中，对启发式解的实证近似因子低于1.7，为大规模多智能体规划提供了强有力的性能保证。

ABSTRACT

Recent years have seen the development of methods for multiagent planning under uncertainty that scale to tens or even hundreds of agents. However, most of these methods either make restrictive assumptions on the problem domain, or provide approximate solutions without any guarantees on quality. Methods in the former category typically build on heuristic search using upper bounds on the value function. Unfortunately, no techniques exist to compute such upper bounds for problems with non-factored value functions. To allow for meaningful benchmarking through measurable quality guarantees on a very general class of problems, this paper introduces a family of influence-optimistic upper bounds for factored decentralized partially observable Markov decision processes (Dec-POMDPs) that do not have factored value functions. Intuitively, we derive bounds on very large multiagent planning problems by subdividing them in sub-problems, and at each of these sub-problems making optimistic assumptions with respect to the influence that will be exerted by the rest of the system. We numerically compare the different upper bounds and demonstrate how we can achieve a non-trivial guarantee that a heuristic solution for problems with hundreds of agents is close to optimal. Furthermore, we provide evidence that the upper bounds may improve the effectiveness of heuristic influence search, and discuss further potential applications to multiagent planning.

研究动机与目标

• 为大规模多智能体规划在不确定性下的可扩展、有保证的上界提供解决方案。
• 为不支持因子化价值函数的因子化Dec-POMDP中的启发式解提供性能保证。
• 开发一种通用技术，通过对外部系统影响的局部乐观假设，在非因子化价值函数设置下计算上界。
• 展示这些上界在启发式方法基准测试和提升启发式搜索效率方面的实用性。
• 通过量化解质量差距，支持多智能体系统的实际部署与理论分析。

提出的方法

• 基于状态因子和智能体交互的划分，将大型因子化Dec-POMDP分解为更小的子问题。
• 通过假设其余系统对每个子问题产生乐观影响，计算局部上界，从而实现子问题的独立求解。
• 利用影响乐观性实现子问题解耦：假设外部智能体和状态因子可能产生最有利的影响。
• 结合局部上界，利用因子化模型的结构，形成对完整问题价值的全局上界。
• 采用基于划分的分解方法以保证可扩展性，确保子问题保持可处理性，同时维持全局上界质量。
• 将该方法应用于计算启发式解的上界，从而实现对近似质量的实证评估。

实验结果

研究问题

• RQ1 能否为不具有因子化价值函数的大规模因子化Dec-POMDP计算紧致上界？
• RQ2 对外部影响的乐观假设能否产生适用于多智能体规划的有效且可扩展的上界？
• RQ3 在包含数百名智能体的问题中，这些上界在多大程度上能为启发式解提供有意义的质量保证？
• RQ4 在紧致性和计算可行性方面，影响乐观上界与现有方法相比如何？
• RQ5 这些上界能否提升多智能体规划中启发式搜索方法的有效性？

主要发现

• 所提出的影响力乐观上界在具有数百名智能体的因子化Dec-POMDP中，对启发式解的实证近似因子低于1.7。
• 该方法为此前缺乏此类保证的问题中的启发式解提供了非平凡且可度量的质量保证。
• 实证结果表明，这些上界足够紧致，能够有意义地评估大规模多智能体系统中启发式方法的性能差距。
• 上界显著提升了启发式影响搜索的有效性，实验结果表明性能有显著提升。
• 该方法推广了依赖价值分解的先前方法，将上界计算扩展至非因子化价值函数场景。
• 证据表明，影响强度是弱耦合的关键维度，影响局部近似方法的性能表现。