[论文解读] Asynchronous Coagent Networks: Stochastic Networks for Reinforcement Learning without Backpropagation or a Clock.

James Kostas, Chris Nota+1 more|arXiv (Cornell University)|Feb 15, 2019

Neural dynamics and brain function参考文献 1被引用 3

一句话总结

本文提出异步共代理网络（Asynchronous Coagent Networks），一种无需反向传播或全局时钟的强化学习框架。通过共代理之间的异步、事件驱动学习，该框架实现了生物合理性，并支持分布式实现，同时消除了选项评论者（option-critic）等层级学习规则的依赖。

ABSTRACT

In this paper we introduce a reinforcement learning (RL) approach for training policies, including artificial neural network policies, that is both backpropagation-free and clock-free. It is backpropagation-free in that it does not propagate any information backwards through the network. It is clock-free in that no signal is given to each node in the network to specify when it should compute its output and when it should update its weights. We contend that these two properties increase the biological plausibility of our algorithms and facilitate distributed implementations. Additionally, our approach eliminates the need for customized learning rules for hierarchical RL algorithms like the option-critic.

研究动机与目标

• 解决反向传播和神经网络中集中式定时机制的生物不合理性。
• 在不依赖全局时钟或同步更新的情况下，实现分布式强化学习。
• 设计一种统一的学习机制，避免为层级强化学习（如选项评论者框架）引入定制规则。
• 以去中心化、事件驱动的方式训练神经网络策略。
• 提供一种可扩展且模块化的替代方案，替代依赖反向传播和固定时序的标准深度强化学习算法。

提出的方法

• 引入共代理作为本地学习单元，通过异步交互实现无集中协调的学习。
• 采用随机、事件驱动的更新机制，每个共代理根据本地奖励信号和交互信息更新其策略。
• 通过共代理反馈实现类似策略梯度的更新，从而将策略学习与梯度反向传播解耦。
• 通过允许每个节点基于内部或外部事件独立更新，消除对全局时钟的依赖。
• 使用不依赖反向信号传播的随机更新规则形式化学习动态。
• 通过允许共代理表示选项或子策略并共享学习目标，自然地整合层级强化学习组件。

实验结果

研究问题

• RQ1 强化学习是否可以在不通过网络进行反向传播的情况下实现？
• RQ2 是否可以在无全局时钟或同步定时的情况下实现有效的策略学习？
• RQ3 能否设计一种统一的学习规则，支持层级强化学习而无需特殊修改？
• RQ4 缺乏反向传播和时钟对学习稳定性与样本效率有何影响？
• RQ5 所提出的方法是否能在保持更高生物合理性的同时，实现与标准强化学习基线相当的性能？

主要发现

• 所提框架成功在无反向传播的情况下训练策略，表明梯度驱动的信用分配并非有效学习的必要条件。
• 无全局时钟的设计实现了完全异步、去中心化的学习，提升了可扩展性，并增强了对通信延迟的鲁棒性。
• 该方法自然支持层级强化学习（如选项评论者），而无需引入专用学习规则或架构修改。
• 尽管消除了反向传播和集中式定时，该框架在测试环境中仍保持与标准强化学习基线相当的学习性能。
• 基于共代理的架构支持模块化与分布式实现，适用于去中心化系统中的实际部署。
• 该方法通过与神经系统中观察到的局部、事件驱动计算原则保持一致，显著提升了生物合理性。