[论文解读] Exploring Deep and Recurrent Architectures for Optimal Control

Sergey Levine|arXiv (Cornell University)|Nov 7, 2013

Human Pose and Action Recognition参考文献 22被引用 15

一句话总结

本文使用引导策略搜索（guided policy search）研究了深度和循环神经网络作为连续、高维运动控制任务的控制策略。研究发现，尽管在复杂多变环境中性能有所提升，但过拟合和局部最优仍是显著挑战，不过与浅层网络相比，更深、更具循环特性的架构在多种地形上训练时泛化能力更强。

ABSTRACT

Sophisticated multilayer neural networks have achieved state of the art results on multiple supervised tasks. However, successful applications of such multilayer networks to control have so far been limited largely to the perception portion of the control pipeline. In this paper, we explore the application of deep and recurrent neural networks to a continuous, high-dimensional locomotion task, where the network is used to represent a control policy that maps the state of the system (represented by joint angles) directly to the torques at each joint. By using a recent reinforcement learning algorithm called guided policy search, we can successfully train neural network controllers with thousands of parameters, allowing us to compare a variety of architectures. We discuss the differences between the locomotion control task and previous supervised perception tasks, present experimental results comparing various architectures, and discuss future directions in the application of techniques from deep learning to the problem of optimal control.

研究动机与目标

• 评估深度和循环神经网络是否能有效表示连续、高维运动控制任务的控制策略。
• 研究深度学习架构是否相比浅层网络能提升控制任务中的泛化能力和鲁棒性。
• 解决大规模神经网络在控制任务中训练的挑战，其中传统强化学习方法在局部最优和不稳定性方面表现不佳。
• 考察架构复杂度（深度、循环性）对多样化地形环境中策略性能的影响。
• 识别深度控制策略中的局限性，如过拟合和局部最优，并探索潜在的缓解策略。

提出的方法

• 采用引导策略搜索（GPS），一种结合轨迹优化与策略优化的强化学习算法，用于训练复杂策略。
• 使用非线性优化算法（如LBFGS或SGD）迭代优化策略，支持与多种控制器架构的兼容性。
• 训练神经网络控制器，直接将关节角度映射为关节力矩，采用连续、高维的状态-动作空间。
• 比较具有不同隐藏单元数量和激活函数（ReLU、硬ReLU）的浅层、深层及循环架构。
• 利用示例演示初始化策略，并引导优化过程朝向状态空间中高回报区域。
• 应用正则化技术（如稀疏正则化），但发现其在测试设置中会降低性能。

实验结果

研究问题

• RQ1 深度和循环神经网络在连续、高维运动控制任务中作为控制策略时，是否能优于浅层网络？
• RQ2 架构深度和循环性如何影响在多个地形领域中的泛化能力？
• RQ3 过拟合和局部最优在多大程度上阻碍了复杂神经网络策略在控制任务中的训练？
• RQ4 增加训练领域数量在多大程度上能提升深度和循环控制策略的泛化能力？
• RQ5 正则化或优化方法的修改是否能缓解神经网络控制策略中的局部最优和过拟合问题？

主要发现

• 当在多个地形领域上训练时，深度和循环网络相比浅层网络表现出适度但一致的泛化性能提升。
• 对演示数据和特定地形类型的过拟合是一个显著问题，尤其在更复杂的架构中更为明显。
• 随着训练领域数量的增加，局部最优问题带来的挑战日益严重，限制了深层网络的性能提升。
• 稀疏正则化被发现会损害性能，表明状态特征的统计特性可能使此类正则化器在此情境下无效。
• 大型网络的性能高度依赖于拥有足够多的训练领域，而这一点在标准强化学习基准中常被忽视。
• 未来工作可能需要采用随机梯度下降的可扩展优化方法，因为当前方法每步梯度计算需耗费巨大的计算资源（例如，每步需126万次前向/反向传播）。