[论文解读] Improved Memory-Bounded Dynamic Programming for Decentralized POMDPs

Sven Seuken, Shlomo Zilberstein|arXiv (Cornell University)|Jun 20, 2012

Optimization and Search Problems参考文献 14被引用 99

一句话总结

该论文通过将观测复杂度从指数级降低到多项式级，改进了用于去中心化 POMDP 的 Memory-Bounded Dynamic Programming (MBDP)，从而实现了对长时域问题的可扩展求解。该方法提出了一种具有可证明误差边界的新型近似方法，并在一项新且更大的基准测试中展示了优异的性能，表明尽管去中心化 POMDP 本身具有固有的复杂性，MBDP 依然有效。

ABSTRACT

Memory-Bounded Dynamic Programming (MBDP) has proved extremely effective in solving decentralized POMDPs with large horizons. We generalize the algorithm and improve its scalability by reducing the complexity with respect to the number of observations from exponential to polynomial. We derive error bounds on solution quality with respect to this new approximation and analyze the convergence behavior. To evaluate the effectiveness of the improvements, we introduce a new, larger benchmark problem. Experimental results show that despite the high complexity of decentralized POMDPs, scalable solution techniques such as MBDP perform surprisingly well.

研究动机与目标

• 为解决 MBDP 在去中心化 POMDP 中因观测数量呈指数依赖而导致的可扩展性限制。
• 开发一种更高效的近似方法，以降低计算复杂度，同时保持解的质量。
• 为新近似技术提供理论误差边界。
• 在新引入的、更大的基准问题上评估该方法，以证明其可扩展性。
• 分析改进后算法的收敛行为。

提出的方法

• 该论文通过在观测上引入一种多项式时间近似，推广了 MBDP，取代了原始的指数依赖关系。
• 采用有界记忆方法，高效地剪枝和聚合信念状态，从而减少状态空间的增长。
• 该方法使用一种新颖的观测抽象技术，将相似的观测分组，以限制信念更新的数量。
• 基于近似方法对原始问题结构的保真度，推导了解质量的误差边界。
• 通过考察新观测处理策略下价值函数近似值的稳定性，分析了收敛性。
• 使用一项新设计的、更大的基准问题对算法进行了评估，以压力测试其可扩展性。

实验结果

研究问题

• RQ1 能否在不牺牲解质量的前提下，将 MBDP 针对观测数量的计算复杂度从指数级降低到多项式级？
• RQ2 所提出的近似方法在解质量方面的理论误差边界是什么？
• RQ3 改进后的 MBDP 在更大、更复杂的去中心化 POMDP 基准问题上的表现如何？
• RQ4 该新方法在近似下是否仍保持收敛性？
• RQ5 该新方法在多大程度上可扩展至更大时域的去中心化 POMDP？

主要发现

• 所提出的方法将观测数量相关的复杂度从指数级降低到多项式级，显著提升了可扩展性。
• 建立了理论误差边界，表明该近似能将解与最优解的偏差控制在合理范围内。
• 实验结果表明，改进后的 MBDP 在一项新且更大的基准问题上实现了高质量的解。
• 尽管去中心化 POMDP 具有高度复杂性，改进后的 MBDP 在实际应用中表现惊人，即使在长时域下也表现良好。
• 该算法在新近似下表现出稳定的收敛行为，支持其实际可行性。
• 新基准揭示出，像 MBDP 这样的可扩展技术能够处理此前被认为不可行的问题。