[论文解读] Asynchronous Coagent Networks

James Kostas, Chris Nota+1 more|arXiv (Cornell University)|Feb 15, 2019

Reinforcement Learning in Robotics参考文献 23被引用 5

一句话总结

本文证明了协同智能体策略梯度算法（CPGA）收敛至局部最优策略，并将理论扩展至异步和循环协同智能体网络，从而在无需推导定制学习规则的情况下，简化了如选项评论者（option-critic）等层次强化学习算法的设计与分析。

ABSTRACT

Coagent policy gradient algorithms (CPGAs) are reinforcement learning algorithms for training a class of stochastic neural networks called coagent networks. In this work, we prove that CPGAs converge to locally optimal policies. Additionally, we extend prior theory to encompass asynchronous and recurrent coagent networks. These extensions facilitate the straightforward design and analysis of hierarchical reinforcement learning algorithms like the option-critic, and eliminate the need for complex derivations of customized learning rules for these algorithms.

研究动机与目标

• 建立协同智能体策略梯度算法（CPGA）收敛至局部最优策略的理论基础。
• 将现有CPGA理论扩展至支持异步和循环协同智能体网络。
• 简化如选项评论者等层次强化学习算法的设计与分析。
• 消除在这些架构中推导复杂、定制化学习规则的需求。

提出的方法

• 提出一个理论框架，将CPGA收敛性理论扩展至异步和循环协同智能体网络。
• 将策略梯度原理应用于结构为协同智能体网络的随机神经网络。
• 对学习规则进行修改，以适应异步更新和循环动力学。
• 通过数学分析证明在扩展设置下的收敛性。
• 证明同一理论基础可统一适用于同步、异步和循环变体。
• 以现有CPGA理论为基础，将其推广至更广泛的协同智能体网络类别。

实验结果

研究问题

• RQ1 在异步和循环设置下，CPGA算法是否收敛至局部最优策略？
• RQ2 CPGA的理论基础能否扩展以支持协同智能体网络中的异步学习？
• RQ3 循环连接如何影响CPGA在协同智能体网络中的收敛特性？
• RQ4 该理论框架在不同协同智能体网络架构中可统一应用的程度如何？
• RQ5 该扩展能否消除在层次强化学习算法中推导定制学习规则的需求？

主要发现

• 本文证明了在异步和循环协同智能体网络的扩展设置下，CPGA收敛至局部最优策略。
• 理论框架成功推广至异步更新，保持了收敛性保证。
• 该扩展支持循环协同智能体网络，使具有记忆能力的序列决策建模成为可能。
• 统一理论消除了为如选项评论者等算法推导定制学习规则的需求。
• 结果使层次强化学习架构的设计更加系统化和模块化。
• 该方法简化了基于复杂协同智能体的强化学习系统的设计与理论分析。