[论文解读] Actor-Critic for Linearly-Solvable Continuous MDP with Partially Known Dynamics

Tomoki Nishi, Prashant Doshi+2 more|arXiv (Cornell University)|Jun 4, 2017

Reinforcement Learning in Robotics参考文献 11被引用 5

一句话总结

该论文提出了一种无模型强化学习方法——被动演员-评论家（pAC），适用于线性可解的连续MDP，利用已知的控制动力学和被动转移数据，避免了不安全的主动探索。该方法在真实交通数据上的高速公路汇入任务中实现了97%的成功率，尽管模型需求减少，但仍优于基于模型的基线方法。

ABSTRACT

In many robotic applications, some aspects of the system dynamics can be modeled accurately while others are difficult to obtain or model. We present a novel reinforcement learning (RL) method for continuous state and action spaces that learns with partial knowledge of the system and without active exploration. It solves linearly-solvable Markov decision processes (L-MDPs), which are well suited for continuous state and action spaces, based on an actor-critic architecture. Compared to previous RL methods for L-MDPs and path integral methods which are model based, the actor-critic learning does not need a model of the uncontrolled dynamics and, importantly, transition noise levels; however, it requires knowing the control dynamics for the problem. We evaluate our method on two synthetic test problems, and one real-world problem in simulation and using real traffic data. Our experiments demonstrate improved learning and policy performance.

研究动机与目标

• 开发一种适用于连续MDP的强化学习方法，避免在真实机器人应用中出现不安全的主动探索。
• 通过仅使用已知的控制动力学和采样的被动转移数据，减少对完整系统动力学模型的依赖。
• 在部分已知动力学设置下，提升策略学习的效率与性能，尤其针对自动驾驶场景。
• 提出一种专为线性可解MDP设计的演员-评论家框架，实现优于以往基于模型方法的策略优化。
• 在合成环境和真实世界交通数据上评估该方法，验证其实际可行性。

提出的方法

• pAC采用两步制演员-评论家架构：评论家利用被动转移数据和线性化贝尔曼方程估计价值函数。
• 演员通过最小化估计Q值与价值函数之间的误差来改进策略，利用已知的控制动力学。
• 通过最小化价值函数与动作价值函数之间的差异，在优化过程中估计转移噪声水平。
• 采用径向基函数和多层神经网络作为价值函数的函数逼近器，其中神经网络表现出更优性能。
• 该方法通过依赖环境车辆行为（被动动力学）的数据和已知的车辆控制模型，避免了主动探索。
• 通过从真实轨迹数据中减去动作引起的改变，重建被动动力学下的状态转移。

实验结果

研究问题

• RQ1 对于线性可解MDP，仅基于部分系统动力学知识的强化学习方法能否实现高策略性能？
• RQ2 在L-MDP背景下，演员-评论家架构是否相比需要完整动力学信息的基于模型方法，能提升策略学习效果？
• RQ3 能否通过被动动力学数据和已知控制动力学实现无需主动探索的安全高效策略学习？
• RQ4 与仅使用价值函数估计相比，引入演员步骤在性能提升方面有何贡献？
• RQ5 该方法能否利用真实轨迹数据，在真实世界交通场景（如高速公路汇入）中实现泛化？

主要发现

• 在使用神经网络函数逼近器的高速公路汇入仿真中，pAC实现了97%的成功率，显著优于采用相同架构的Z-learning。
• 在真实世界的NGSIM交通数据上，pAC使用神经网络实现93%的成功率，尽管先验知识更少，但仍优于使用神经网络的Z-learning。
• 在合成环境和真实世界评估中，使用神经网络作为函数逼近器相较于径向基函数带来了显著的性能提升。
• pAC中的演员步骤（通过最小化Q值误差）对性能提升的贡献大于从数据中估计噪声水平的步骤。
• pAC在模型需求更少的情况下，性能与基于模型的基准方法（如Z-learning）相当或更优，尤其避免了对已知转移噪声的需求。
• 该方法成功在真实世界交通场景中学习到高质量策略，且无需主动探索，验证了其在自动驾驶中的实际适用性。