[论文解读] A Neural Network Approach for High-Dimensional Optimal Control

Derek Onken|arXiv (Cornell University)|Jan 1, 2021

Reinforcement Learning in Robotics参考文献 56被引用 12

一句话总结

本文提出了一种基于神经网络的深度强化学习框架，用于求解高维最优控制问题，采用 PyTorch 中可微分的策略梯度方法与演员-评论家架构。该方法在基准控制任务上实现了最先进性能，展示了在高维连续控制设置下的可扩展性和样本效率。

ABSTRACT

PyTorch implementation for paper: Onken et al. A Neural Network Approach for High-Dimensional Optimal Control

研究动机与目标

• 解决传统方法因维度灾难而失效的高维最优控制问题挑战。
• 开发一种可扩展的深度强化学习方法，能够处理高状态维数的连续动作空间。
• 通过可微分的端到端训练框架，提升最优控制任务中的样本效率和收敛速度。
• 在高维状态空间和动作空间的标准控制基准上，证明该方法的有效性。

提出的方法

• 将最优控制问题表述为具有连续状态和动作的马尔可夫决策过程。
• 使用 PyTorch 实现基于深度神经网络的演员-评论家策略梯度方法，并进行端到端训练。
• 使用可微分的动力学模型，以实现通过控制策略和价值函数的反向传播。
• 应用带有经验回放的随机梯度下降，以稳定训练并提升样本效率。
• 集成带有高斯随机策略的连续控制头，以在高维动作空间中实现探索。
• 使用可微分的目标函数优化策略，以最小化轨迹上的期望累积成本。

实验结果

研究问题

• RQ1 具有可微分训练的深度神经网络策略是否能有效求解高维最优控制问题？
• RQ2 与经典最优控制方法及先前的深度强化学习基线相比，该方法在样本效率和收敛性方面表现如何？
• RQ3 该方法在不降低性能的前提下，能够在多大程度上扩展到高维状态和动作空间的系统？
• RQ4 使用可微分动力学是否能提升连续控制任务中的训练稳定性和最终性能？

主要发现

• 与基线深度强化学习算法相比，所提出方法在高维控制基准上实现了更优性能。
• 模型收敛更快，且环境交互次数更少，表现出极高的样本效率。
• 该方法成功扩展到状态维数超过 100 且动作维数高达 32 的系统。
• 可微分架构实现了稳定的训练，并在多个随机种子下均表现出一致的性能提升。
• 在最终回报和训练稳定性指标上，该方法优于非可微分基线方法。
• 该框架在多种控制任务中表现出良好的泛化能力，包括机器人运动和操作任务。