[论文解读] Iterative Linearized Control: Stable Algorithms and Complexity Guarantees

Vincent Roulet, Siddhartha S Srinivasa+2 more|arXiv (Cornell University)|Aug 20, 2019

Advanced Control Systems Optimization被引用 6

一句话总结

本文提出了一种用于非线性控制的正则化高斯-牛顿算法，通过迭代线性化方法实现，并基于现代一阶优化复杂度理论进行框架构建。通过利用基于 PyTorch 的自动微分技术，该方法在理论上保证了最坏情况下的收敛性，并在实践中实现了稳定且加速的收敛，且代码已公开以支持可复现性。

ABSTRACT

We examine popular gradient-based algorithms for nonlinear control in the light of the modern complexity analysis of first-order optimization algorithms. The examination reveals that the complexity bounds can be clearly stated in terms of calls to a computational oracle related to dynamic programming and implementable by gradient back-propagation using machine learning software libraries such as PyTorch or TensorFlow. Finally, we propose a regularized Gauss-Newton algorithm enjoying worst-case complexity bounds and improved convergence behavior in practice. The software library based on PyTorch is publicly available.

研究动机与目标

• 将 ILQR 和 DDP 等流行的非线性控制算法重新置于现代一阶优化复杂度分析的框架下。
• 确立自动微分预言机调用次数——可通过 PyTorch 或 TensorFlow 实现——作为迭代线性化方法的关键复杂度度量。
• 通过引入带有近端正则化的高斯-牛顿步长与 Catalyst 外推法，提升 ILQR 的收敛稳定性和速度。
• 基于迭代线性化与高斯-牛顿类型步长，建立非线性控制算法的最坏情况复杂度边界。
• 通过在倒立摆和双连杆机械臂控制任务上的实证评估，展示实际收敛性能的改进。

提出的方法

• 将有限时域非线性控制问题重新表述为复合优化问题，从而可应用一阶优化技术。
• 利用自动微分（通过 PyTorch）求解与线性化子问题相关的对偶问题，以计算高斯-牛顿步长。
• 引入近端正则化以稳定高斯-牛顿步长，并确保在非凸设置下的收敛性。
• 应用 Catalyst 外推方案以加速收敛，同时保持最坏情况复杂度保证。
• 利用 PyTorch 的可微编程能力实现算法，支持控制轨迹的端到端反向传播。
• 在经历 5 次迭代的预热阶段后采用固定步长，基准 ILQR 使用线搜索以确保公平比较。

实验结果

研究问题

• RQ1 能否使用现代一阶优化复杂度理论分析用于非线性控制的迭代线性化方法？
• RQ2 在现代机器学习框架（如 PyTorch 或 TensorFlow）中，迭代线性化算法的相关复杂度度量是什么？
• RQ3 近端正则化与外推法如何改善 ILQR 类算法的收敛行为与稳定性？
• RQ4 正则化高斯-牛顿方法能否在实现最坏情况复杂度边界的同时，提升实际收敛性能？
• RQ5 自动微分在多大程度上可以替代传统动态规划来求解非线性控制的子问题？

主要发现

• 所提出的加速正则化高斯-牛顿算法在倒立摆和双连杆机械臂控制问题上均实现了稳定且快速的收敛。
• 与依赖 Armijo 线搜索且表现出振荡行为的标准 ILQR 相比，正则化 ILQR 展现出更优的收敛稳定性。
• 调用自动微分预言机的次数被确定为关键复杂度度量，与现代深度学习实践保持一致。
• 该算法在保持实际性能提升（通过外推与正则化）的同时，实现了最坏情况复杂度保证。
• 实证结果表明，加速正则化 ILQR 在收敛速度与目标函数值降低方面均优于标准 ILQR 和正则化 ILQR。
• 软件实现已公开发布于 GitHub，支持可复现性，并可扩展至强化学习应用。