[论文解读] Learning Deep Neural Network Policies with Continuous Memory States

Marvin Zhang, Zoe McCarthy+3 more|arXiv (Cornell University)|Jul 5, 2015

Reinforcement Learning in Robotics参考文献 24被引用 8

一句话总结

本文提出一种方法，通过引导式策略搜索，将记忆状态优化与策略学习解耦，以在需要记忆的连续控制任务中训练具有连续记忆状态的深度神经网络策略。该方法使策略能够记忆并回忆关键信息，在模拟的操控与导航任务中表现优于标准RNN和直接策略搜索。

ABSTRACT

Policy learning for partially observed control tasks requires policies that can remember salient information from past observations. In this paper, we present a method for learning policies with internal memory for high-dimensional, continuous systems, such as robotic manipulators. Our approach consists of augmenting the state and action space of the system with continuous-valued memory states that the policy can read from and write to. Learning general-purpose policies with this type of memory representation directly is difficult, because the policy must automatically figure out the most salient information to memorize at each time step. We show that, by decomposing this policy search problem into a trajectory optimization phase and a supervised learning phase through a method called guided policy search, we can acquire policies with effective memorization and recall strategies. Intuitively, the trajectory optimization phase chooses the values of the memory states that will make it easier for the policy to produce the right action in future states, while the supervised learning phase encourages the policy to use memorization actions to produce those memory states. We evaluate our method on tasks involving continuous control in manipulation and navigation settings, and show that our method can learn complex policies that successfully complete a range of tasks that require memory.

研究动机与目标

• 解决在需要记忆的、部分可观测的连续控制任务中训练深度神经网络策略的挑战。
• 克服在高维、连续系统中联合学习有效记忆与动作选择策略的困难。
• 使通用策略能够通过连续记忆状态学习存储和检索过去观测中的关键信息。
• 开发一种可扩展且高效的训练方法，避免时间反向传播或复杂的基于模型的动力学估计。

提出的方法

• 通过引入策略可读写的连续值记忆状态，扩展状态和动作空间。
• 使用基于轨迹的强化学习算法（即“教师”）为每个初始状态优化记忆状态值，从而简化学习问题。
• 应用引导式策略搜索，通过监督学习训练深度神经网络策略，以教师的轨迹作为监督信号。
• 迭代调整教师轨迹，使其与最终策略的行为相匹配，确保策略能够复现记忆状态激活。
• 通过让教师决定应存储哪些信息，而策略学习复现这些状态，实现记忆状态优化与策略学习的解耦。
• 使用多层神经网络训练最终策略，以在不同初始条件和任务间实现泛化。

实验结果

研究问题

• RQ1 能否有效训练具有连续记忆状态的深度神经网络策略，以应对高维、部分可观测的控制任务？
• RQ2 通过引导式策略搜索将记忆状态优化与策略学习解耦，是否能带来比端到端方法更稳定、更有效的训练？
• RQ3 与基于标准RNN的策略和直接策略搜索相比，该方法在性能和泛化能力方面表现如何？
• RQ4 该方法能否学习复杂记忆行为，如目标位置回忆或接触反馈中的方向检测？
• RQ5 在前馈策略依赖物理状态‘卸载’记忆的任务中，记忆状态能在多大程度上提升性能？

主要发现

• 所提方法成功学习到能够完成需要记忆的复杂操控任务的策略，例如插销和将物体插入垂直或水平槽中。
• 在二维导航与检索任务中，该方法从所有四个初始位置均成功完成任务，而前馈网络因缺乏记忆而失败，标准LSTM也难以有效优化。
• 该方法优于RWR（重复加权回归）和标准LSTM策略，后者在所有初始条件下均未能学习到连贯行为。
• 即使在前馈策略可通过将记忆卸载到物理状态而成功完成的任务中，该方法通过显式记忆状态仍实现了更好的泛化性和可靠性。
• 引导式策略搜索框架实现了复杂内部记忆策略的稳定训练，避免了时间反向传播的需要。
• 项目网站的补充视频表明，所学策略在多个任务中均表现出连贯、依赖记忆的行为。