[论文解读] Memory-based control with recurrent neural networks

Nicolas Heess, Jonathan J. Hunt+2 more|arXiv (Cornell University)|Dec 14, 2015

Reinforcement Learning in Robotics参考文献 33被引用 219

一句话总结

本文通过使用通过时间反向传播训练的循环神经网络（RNN），将无模型强化学习算法扩展为循环确定性策略梯度（RDPG）和循环随机价值梯度（RSVG(0)）。该方法成功直接从像素输入解决了部分可观测控制问题，如传感器噪声整合、系统辨识、长期记忆任务以及莫里斯水迷宫问题，表明RNN能够在无需显式信念状态或手工设计观测堆栈的情况下，实现连续控制领域中的有效基于记忆的控制。

ABSTRACT

Partially observed control problems are a challenging aspect of reinforcement learning. We extend two related, model-free algorithms for continuous control -- deterministic policy gradient and stochastic value gradient -- to solve partially observed domains using recurrent neural networks trained with backpropagation through time. We demonstrate that this approach, coupled with long-short term memory is able to solve a variety of physical control problems exhibiting an assortment of memory requirements. These include the short-term integration of information from noisy sensors and the identification of system parameters, as well as long-term memory problems that require preserving information over many time steps. We also demonstrate success on a combined exploration and memory problem in the form of a simplified version of the well-known Morris water maze task. Finally, we show that our approach can deal with high-dimensional observations by learning directly from pixels. We find that recurrent deterministic and stochastic policies are able to learn similarly good solutions to these tasks, including the water maze where the agent must learn effective search strategies.

研究动机与目标

• 解决在完整状态不可观测的连续控制领域中，部分可观测控制的挑战。
• 在需要短期整合噪声传感器数据或长期保留信息的环境中，实现对记忆密集型策略的有效学习。
• 证明无模型深度强化学习结合RNN能够直接从像素观测中解决复杂的基于记忆的任务，包括莫里斯水迷宫。
• 研究在引入循环记忆后，随机策略与确定性策略在部分可观测设置下的性能表现孰优孰劣。
• 探索从高维观测（如原始像素）端到端学习的可行性，而无需依赖手工设计的观测堆栈或状态表示。

提出的方法

• 将确定性策略梯度（DPG）和随机价值梯度（SVG(0)）算法扩展为使用循环神经网络（RNN）作为策略和价值函数近似器。
• 通过时间反向传播（BPTT）训练RNN组件，基于时序差分误差和策略梯度来优化策略和价值函数参数。
• 在RNN架构中集成长短期记忆（LSTM）单元，以改善长期依赖关系的学习并缓解梯度消失问题。
• 采用独立的演员-评论家架构，其中演员网络基于RNN隐藏状态输出动作，评论家网络评估状态-动作对的Q值。
• 通过链式法则对RNN参数应用策略梯度更新规则，实现具有记忆能力的策略网络的端到端训练。
• 通过将卷积神经网络（CNN）与RNN结合，提取视觉特征并保持时间记忆，实现从高维观测直接控制。

实验结果

研究问题

• RQ1 循环神经网络是否能在部分可观测的连续控制任务中有效编码并利用长期记忆？
• RQ2 将RNN集成到无模型策略梯度算法（如DPG和SVG(0)）中，是否能实现在观测噪声或不完整环境中的鲁棒学习？
• RQ3 在如水迷宫等记忆密集型控制任务中，确定性与随机循环策略的性能表现如何比较？
• RQ4 RDPG和RSVG(0)是否能直接从原始像素输入学习到有效的控制策略，而无需观测堆叠或手工设计的状态表示？
• RQ5 基于RNN的策略在物理控制领域中，对系统辨识和长时程规划等复杂记忆问题的解决能力达到何种程度？

主要发现

• RDPG和RSVG(0)成功解决了多种部分可观测控制问题，包括无速度反馈的摆杆倒立、未知杆长的Cart-Pole倒立，以及需要延迟动作执行的长期记忆任务。
• 智能体能够随时间整合噪声传感器输入，展示了在摆杆和Cart-Pole任务中对状态估计的有效短期记忆能力。
• 在简化的莫里斯水迷宫中，循环智能体在后续尝试中显著缩短了找到隐藏平台的时间，表明其成功记住了平台位置的长期记忆。
• RDPG在视觉任务中表现优异，能够从静态图像中估计速度，并在目标消失的抓取任务中记住目标位置。
• 随机与确定性循环策略在各项任务中的表现相当，挑战了随机策略在部分可观测设置中天然更优的假设。
• 该方法实现了从高维像素观测的直接控制，表明RNN能够学习在时间步之间保持相关信息，而无需显式观测堆叠。