[论文解读] Fitting a Linear Control Policy to Demonstrations with a Kalman Constraint

Malayandi Palan, Shane Barratt+4 more|arXiv (Cornell University)|Jan 21, 2020

Reservoir Engineering and Simulation Methods被引用 10

一句话总结

本文提出了一种新颖的方法，通过施加卡尔曼约束，从专家示范中学习线性控制策略，确保策略对某个LQR问题最优。采用基于ADMM的优化方法，该方法在少量示范下稳定学习，始终获得有限且低成本的策略，而标准策略拟合方法因不稳定或成本无限而失效。

ABSTRACT

We consider the problem of learning a linear control policy for a linear dynamical system, from demonstrations of an expert regulating the system. The standard approach to this problem is policy fitting, which fits a linear policy by minimizing a loss function between the demonstrations and the policy's outputs plus a regularization function that encodes prior knowledge. Despite its simplicity, this method fails to learn policies with low or even finite cost when there are few demonstrations. We propose to add an additional constraint to policy fitting, that the policy is the solution to some LQR problem, i.e., optimal in the stochastic control sense for some choice of quadratic cost. We refer to this constraint as a Kalman constraint. Policy fitting with a Kalman constraint requires solving an optimization problem with convex cost and bilinear constraints. We propose a heuristic method, based on the alternating direction method of multipliers (ADMM), to approximately solve this problem. Numerical experiments demonstrate that adding the Kalman constraint allows us to learn good, i.e., low cost, policies even when very few data are available.

研究动机与目标

• 解决在有限专家示范下，从线性动态系统中学习稳定且低成本线性控制策略的挑战。
• 克服在示范稀缺时，标准策略拟合方法因不稳定或成本无限而导致的失败。
• 引入卡尔曼约束，强制学习到的策略对某个LQR问题最优，从而确保内在稳定性和鲁棒性。
• 开发一种实用的基于凸优化的方法，将该约束整合到策略拟合中。
• 证明该方法在极少数据条件下仍能有效恢复稳定且有限成本的策略。

提出的方法

• 将带有卡尔曼约束的策略拟合表述为一个双凸优化问题，包含凸目标函数和双线性（基于Riccati方程）约束。
• 使用交替方向乘子法（ADMM）作为启发式方法，通过交替求解凸子问题来近似求解非凸问题。
• 将LQR最优性的Riccati方程条件作为约束，确保策略对某个二次型代价函数最优。
• 应用Huber损失和Tikhonov正则化，以提高对噪声或异常值示范的鲁棒性。
• 通过修改代价函数和时变Riccati约束，将该方法扩展至有限时域和跟踪控制问题。
• 使用ADMM迭代求解所得优化问题，保持计算可行性。

实验结果

研究问题

• RQ1 在示范稀缺时，卡尔曼约束是否能改善线性系统中的策略学习？
• RQ2 通过卡尔曼约束强制实现LQR最优性，是否能防止无限成本策略并确保稳定性？
• RQ3 在示范较少时，与标准策略拟合相比，该方法在成本和可靠性方面表现如何？
• RQ4 在存在噪声或受损示范（如异常输入）的情况下，该方法是否仍具有效性？
• RQ5 该方法在多大程度上可推广至有限时域和跟踪控制问题？

主要发现

• 在所有实验设置中，带有卡尔曼约束的策略拟合始终获得有限的期望成本，而标准策略拟合在示范极少时，高达100%的模拟中出现无限成本。
• 在飞机控制示例中，该方法在示范少于10个时，显著低于标准策略拟合的期望成本。
• 当示范数为5个或更少时，标准策略拟合在40–60%的试验中无法生成稳定策略，而卡尔曼约束方法在100%的情况下保持有限成本。
• 在含异常值的LQR实验中，当10%的控制输入被反转时，该方法仍保持有限成本和低期望成本，优于标准策略拟合。
• 即使仅有5个示范，该方法也能成功恢复接近专家和最优策略性能的策略。
• 基于ADMM的算法收敛稳定，无需梯度调优或大量超参数搜索，即可生成稳定且低成本的策略。