[论文解读] Learning Stabilizing Controllers of Linear Systems via Discount Policy Gradient

Feiran Zhao, Xingyun Fu+1 more|arXiv (Cornell University)|Dec 17, 2021

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了一种无模型的折扣策略梯度方法，通过自适应调整引导策略进入稳定区域的折扣因子，以稳定未知线性系统。通过结合李雅普诺夫理论与数据驱动更新，该方法在 O(log(1/ε)) 条轨迹内实现精度 ε 的收敛，与先前工作相比显著降低了样本量和仿真成本。

ABSTRACT

Stability is one of the most fundamental requirements for systems synthesis. In this paper, we address the stabilization problem for unknown linear systems via policy gradient (PG) methods. We leverage a key feature of PG for Linear Quadratic Regulator (LQR), i.e., it drives the policy away from the boundary of the unstabilizing region along the descent direction, provided with an initial policy with finite cost. To this end, we discount the LQR cost with a factor, by adaptively increasing which gradient leads the policy to the stabilizing set while maintaining a finite cost. Based on the Lyapunov theory, we design an update rule for the discount factor which can be directly computed from data, rendering our method purely model-free. Compared to recent work \citep{perdomo2021stabilizing}, our algorithm allows the policy to be updated only once for each discount factor. Moreover, the number of sampled trajectories and simulation time for gradient descent is significantly reduced to $\mathcal{O}(\log(1/ε))$ for the desired accuracy $ε$. Finally, we conduct simulations on both small-scale and large-scale examples to show the efficiency of our discount PG method.

研究动机与目标

• 解决使用无模型强化学习稳定未知线性系统的问题。
• 减少策略梯度方法在收敛过程中所需的采样轨迹数量和仿真时间。
• 在优化过程中确保策略保持在稳定区域并维持有限代价。
• 基于李雅普诺夫理论，开发一种完全基于数据的折扣因子更新规则。
• 通过实现每个折扣因子取值仅一次策略更新，超越近期方法。

提出的方法

• 该方法引入一种带有自适应折扣因子的折扣LQR代价函数，引导策略向稳定集合靠近。
• 基于李雅普诺夫理论推导出折扣因子的更新规则，可直接从数据中计算，无需系统模型知识。
• 使用带有折扣代价的在线策略滚动（on-policy rollouts）计算策略梯度，确保向稳定控制器方向下降。
• 基于确保策略保持在稳定区域并维持有限代价的条件，迭代更新折扣因子。
• 该算法仅需对每个折扣因子取值进行一次策略更新，提升了样本效率。
• 该方法完全无模型，仅依赖观测轨迹进行梯度估计与折扣因子自适应调整。

实验结果

研究问题

• RQ1 无模型策略梯度方法是否能在不进行系统辨识的情况下稳定未知线性系统？
• RQ2 如何自适应调整折扣因子，以引导策略进入稳定区域，同时维持有限代价？
• RQ3 所提方法在实现期望精度 ε 时的样本复杂度是多少？
• RQ4 与 prior work 如 perdomo2021stabilizing 相比，该方法在样本效率上表现如何？
• RQ5 能否基于李雅普诺夫理论直接从数据中计算折扣因子更新规则？

主要发现

• 所提方法在 O(log(1/ε)) 条采样轨迹内实现精度 ε 的收敛，与先前方法相比显著降低了样本复杂度。
• 该算法支持每个折扣因子取值仅进行一次策略更新，提升了计算效率。
• 折扣因子更新规则基于李雅普诺夫理论推导，可直接从数据中计算，确保策略保持在稳定区域。
• 该方法在整个优化过程中维持有限代价，避免了训练过程中的不稳定性。
• 在小规模与大规模系统上的仿真结果验证了该方法的高效性与鲁棒性。
• 与近期工作（perdomo2021stabilizing）相比，该方法在样本效率与仿真效率上均表现更优。