[论文解读] Distributionally Robust Linear Quadratic Control

Bahar Taşkesen, Dan A. Iancu+2 more|arXiv (Cornell University)|May 26, 2023

Atmospheric and Environmental Gas Dynamics被引用 4

一句话总结

该论文提出了一种分布鲁棒的线性二次高斯（LQG）控制框架，其中噪声分布未知，且位于以名义高斯分布为中心的Wasserstein模糊集内。尽管进行了鲁棒化处理，作者证明了线性输出反馈控制器仍保持最优，并开发了一种基于Frank-Wolfe的算法，该算法利用卡尔曼滤波和动态规划高效计算最优策略，最坏情况下的分布为高斯分布——从而可通过标准LQG求解器实现高效计算。

ABSTRACT

Linear-Quadratic-Gaussian (LQG) control is a fundamental control paradigm that is studied in various fields such as engineering, computer science, economics, and neuroscience. It involves controlling a system with linear dynamics and imperfect observations, subject to additive noise, with the goal of minimizing a quadratic cost function for the state and control variables. In this work, we consider a generalization of the discrete-time, finite-horizon LQG problem, where the noise distributions are unknown and belong to Wasserstein ambiguity sets centered at nominal (Gaussian) distributions. The objective is to minimize a worst-case cost across all distributions in the ambiguity set, including non-Gaussian distributions. Despite the added complexity, we prove that a control policy that is linear in the observations is optimal for this problem, as in the classic LQG problem. We propose a numerical solution method that efficiently characterizes this optimal control policy. Our method uses the Frank-Wolfe algorithm to identify the least-favorable distributions within the Wasserstein ambiguity sets and computes the controller's optimal policy using Kalman filter estimation under these distributions.

研究动机与目标

• 将经典的LQG控制问题推广至处理未知的非高斯噪声分布，并置于Wasserstein模糊集内。
• 在分布鲁棒性条件下，建立线性输出反馈控制器的最优性。
• 开发一种高效计算算法，用于求解鲁棒控制问题，而无需使用半定规划。
• 证明在模糊集中最坏情况下的分布为高斯分布，从而可在算法中使用标准LQG求解器。
• 在运行时间与收敛性方面，将所提出的Frank-Wolfe方法与直接的半定规划方法进行比较。

提出的方法

• 将分布鲁棒的LQG问题重新表述为在Wasserstein球内对控制策略与最坏情况噪声分布进行的极小化-极大化优化。
• 利用凸对偶与松弛技术——具体而言，用Gelbrich球替代Wasserstein球——推导最坏情况成本的上界。
• 将控制器限制为观测值的线性策略，并证明该上界与下界一致，从而确立线性控制器的最优性。
• 实施一种Frank-Wolfe算法，每轮迭代通过卡尔曼滤波与动态规划求解标准LQG问题。
• 使用PyTorch的自动微分计算Frank-Wolfe更新步骤中目标函数的梯度。
• 采用带回溯的线搜索策略（使用δ = 0.95），以确保最优性间隙充分减小。

实验结果

研究问题

• RQ1 在具有Wasserstein模糊集的分布鲁棒LQG设置下，线性输出反馈策略是否仍保持最优？
• RQ2 在此鲁棒设置下，最坏情况噪声分布的结构是什么？
• RQ3 能否在不求解大规模半定规划问题的情况下，高效计算最优控制器？
• RQ4 应用于该问题的Frank-Wolfe方法是否实现次线性收敛并支持并行化？
• RQ5 即使模糊集包含非高斯分布，最坏情况分布是否仍为高斯分布？

主要发现

• 即使在分布模糊性下，最优控制策略仍保持对观测值的线性，从而推广了经典LQG结果。
• 在Wasserstein模糊集内的最坏情况分布为高斯分布，这显著简化了鲁棒控制问题。
• Frank-Wolfe算法对最优性间隙ε实现了O(1/ε)的次线性收敛速率。
• 在所有问题时域下，Frank-Wolfe方法的运行时间均显著低于直接的半定规划方法（MOSEK）。
• 当T = 10时，Frank-Wolfe方法在仅50次迭代内即可达到高精度（最优性间隙低于10⁻³）。
• 该算法易于并行化，并在每轮Frank-Wolfe迭代中利用高效的LQG求解器，从而实现可扩展计算。