[论文解读] Leveraging Statistical Multi-Agent Online Planning with Emergent Value Function Approximation

Thomy Phan, Lenz Belzner+2 more|arXiv (Cornell University)|Apr 17, 2018

Reinforcement Learning in Robotics参考文献 6被引用 5

一句话总结

本文提出EVADE方法，通过在执行过程中利用强化学习从涌现的系统行为中在线学习价值函数，从而增强随机环境中统计多智能体在线规划的性能。通过将此全局价值函数整合到局部规划中，EVADE提升了性能与效率，使在相同计算预算下，较短的规划时域能够达到或超越更长时域的表现，尤其在复杂的智能工厂环境中表现显著。

ABSTRACT

Making decisions is a great challenge in distributed autonomous environments due to enormous state spaces and uncertainty. Many online planning algorithms rely on statistical sampling to avoid searching the whole state space, while still being able to make acceptable decisions. However, planning often has to be performed under strict computational constraints making online planning in multi-agent systems highly limited, which could lead to poor system performance, especially in stochastic domains. In this paper, we propose Emergent Value function Approximation for Distributed Environments (EVADE), an approach to integrate global experience into multi-agent online planning in stochastic domains to consider global effects during local planning. For this purpose, a value function is approximated online based on the emergent system behaviour by using methods of reinforcement learning. We empirically evaluated EVADE with two statistical multi-agent online planning algorithms in a highly complex and stochastic smart factory environment, where multiple agents need to process various items at a shared set of machines. Our experiments show that EVADE can effectively improve the performance of multi-agent online planning while offering efficiency w.r.t. the breadth and depth of the planning process.

研究动机与目标

• 解决在不确定性环境下多智能体在线规划中计算资源有限的挑战。
• 使局部规划智能体能够在无需预计算价值函数的情况下考虑全局影响。
• 开发一种无需模型、可自适应的在线学习方法，基于系统级经验实时学习价值函数。
• 在具有共享资源和多个智能体的高复杂度、高随机性智能工厂环境中评估该方法。
• 证明EVADE可提升规划性能与效率，尤其在计算预算受限时表现更优。

提出的方法

• EVADE利用在线强化学习，基于执行过程中的涌现系统行为，近似计算全局价值函数。
• 该价值函数用于指导多智能体系统中的局部规划决策，从而提升策略质量。
• 该方法与现有统计多智能体在线规划算法（DICE和DOOLP）集成，以提升其搜索效率。
• 设计了一个具有随机动作结果和共享机器的智能工厂环境，以模拟高分支因子和复杂协调需求。
• 采用时序差分学习方法，增量式更新价值函数，经验来源于智能体间的交互。
• 在有限计算预算下进行规划，价值函数用于优先选择更具前景的动作序列。

实验结果

研究问题

• RQ1 在线价值函数近似是否能提升多智能体在线规划在随机环境中的性能？
• RQ2 在严格计算约束下，学习到的价值函数在多大程度上可弥补规划深度与广度的不足？
• RQ3 当计算预算受限时，EVADE与无价值函数的基线规划方法相比表现如何？
• RQ4 EVADE是否能使更短的规划时域达到与更长时域相当的性能？
• RQ5 该方法在高分支因子和多智能体环境中是否具备良好的可扩展性？

主要发现

• EVADE显著提升性能：在相同预算下，DICE结合EVADE（h=6）达到90.8%的成功率，优于基线的69.7%。
• 在计算预算为384时，EVADE结合h=2的规划深度在性能上达到或超过h=6的长时域规划，尤其在8智能体场景中表现突出。
• DOOLP结合EVADE（h=4）达到91.3%的成功率，优于基线的71.6%，即使在规划深度有限时也展现出显著提升。
• 8智能体场景中性能停滞归因于巨大的策略空间与计算预算不足，表明性能增益随计算资源增加而提升。
• 由于价值函数提供了更优引导，更短时域（h=2）的规划性能超越了更长时域（h=6），减少了对深度搜索的依赖。
• 该方法通过在不增加计算成本的前提下提升搜索的广度与深度，展现出卓越的规划效率。