[论文解读] Learning robust control for LQR systems with multiplicative noise via policy gradient.

|arXiv (Cornell University)|May 28, 2019

Adaptive Dynamic Programming Control参考文献 58被引用 11

一句话总结

本论文提出了一种策略梯度方法，用于在具有乘性噪声的线性二次调节器（LQR）系统中学习鲁棒控制，利用一种特殊的梯度支配性质，确保全局收敛至最优策略。该方法在模型已知和模型未知两种设置下均适用，基于轨迹样本实现，以多项式时间收敛并具备可证明的鲁棒性提升。

ABSTRACT

The linear quadratic regulator (LQR) problem has reemerged as an important theoretical benchmark for reinforcement learning-based control of complex dynamical systems with continuous state and action spaces. In contrast with nearly all recent work in this area, we consider multiplicative noise models, which are increasingly relevant because they explicitly incorporate inherent uncertainty and variation in the system dynamics and thereby improve robustness properties of the controller. Robustness is a critical and poorly understood issue in reinforcement learning; existing methods which do not account for uncertainty can converge to fragile policies or fail to converge at all. Additionally, intentional injection of multiplicative noise into learning algorithms can enhance robustness of policies, as observed in ad hoc work on domain randomization. Although policy gradient algorithms require optimization of a non-convex cost function, we show that the multiplicative noise LQR cost has a special property called gradient domination, which is exploited to prove global convergence of policy gradient algorithms to the globally optimum control policy with polynomial dependence on problem parameters. Results are provided both in the model-known and model-unknown settings where samples of system trajectories are used to estimate policy gradients.

研究动机与目标

• 为解决连续控制系统的强化学习中固有系统不确定性带来的关键鲁棒性挑战。
• 形式化并分析在LQR系统中引入乘性噪声作为提升控制器鲁棒性的机制。
• 开发一种策略梯度算法，即使在非凸代价函数下也能保证收敛至全局最优控制策略。
• 在基于采样系统轨迹的模型已知和模型未知设置下，建立收敛性保证。
• 证明有意识地注入乘性噪声可提升策略鲁棒性，与领域随机化等经验性做法相一致。

提出的方法

• 该方法将带有乘性噪声的LQR问题形式化，建模为过程噪声随状态或控制输入缩放的系统动态。
• 利用乘性噪声LQR代价函数的梯度支配性质，确保任何梯度较小的点都接近全局最优。
• 应用策略梯度算法优化控制策略，在模型未知设置下，梯度通过采样系统轨迹估计。
• 证明该算法尽管代价函数非凸，仍能以问题参数的多项式依赖关系实现对最优策略的全局收敛。
• 在模型已知设置下使用真实梯度；在模型未知设置下，从观测轨迹中推导经验估计。
• 该方法通过引入增强鲁棒性的噪声结构，对标准策略梯度方法进行推广，并实现理论收敛保证。

实验结果

研究问题

• RQ1 在具有乘性噪声的LQR系统中，策略梯度方法能否在非凸代价函数下实现全局收敛？
• RQ2 乘性噪声的存在如何提升所学控制策略的鲁棒性？
• RQ3 在何种理论条件下，策略梯度算法能在此设置下收敛至全局最优策略？
• RQ4 在模型已知和模型未知两种情形下，收敛速率如何随系统参数变化？
• RQ5 该框架能否解释或形式化强化学习中领域随机化经验成功的原理？

主要发现

• 乘性噪声LQR代价函数表现出梯度支配性质，使策略梯度方法具备全局收敛保证。
• 策略梯度算法在模型已知和模型未知两种设置下，均以问题参数的多项式依赖关系收敛至全局最优控制策略。
• 该方法通过显式建模系统不确定性（即乘性噪声）实现鲁棒性，提升控制器的抗干扰能力。
• 理论分析表明，该方法可避免脆弱策略，并在标准方法可能失效时仍确保收敛。
• 实验结果表明，乘性噪声注入可增强策略鲁棒性，与领域随机化实践一致。
• 该框架为在连续状态和动作空间系统中使用强化学习实现鲁棒控制提供了原则性基础。