[论文解读] A Note on Linear Quadratic Regulator and Kalman Filter

Midhun T. Augustine|arXiv (Cornell University)|Aug 30, 2023

Inertial Sensor and Navigation被引用 4

一句话总结

本篇笔记对离散时间线性系统的线性二次型调节器（LQR）和卡尔曼滤波器（KF）提供了理论性与直觉性的介绍，推导了其最优控制与估计律。通过动态规划与黎卡蒂方程，推导了LQR控制器与KF估计器，展示了在可观测性与可控制性条件下收敛至稳态解的过程，并提供了数值实现细节与仿真结果，验证了预测器、滤波器与平滑器各类变体的性能表现。

ABSTRACT

Two central problems in modern control theory are the controller design problem: which deals with designing a control law for the dynamical system, and the state estimation problem (observer design problem): which deals with computing an estimate of the states of the dynamical system. The Linear Quadratic Regulator (LQR) and Kalman Filter (KF) solves these problems respectively for linear dynamical systems in an optimal manner, i.e., LQR is an optimal state feedback controller and KF is an optimal state estimator. In this note, we will be discussing the basic concepts, derivation, steady-state analysis, and numerical implementation of the LQR and KF.

研究动机与目标

• 为离散时间线性系统中的线性二次型调节器（LQR）与卡尔曼滤波器（KF）提供理论基础。
• 利用动态规划与黎卡蒂方程推导最优控制与估计律。
• 分析LQR与KF的稳态行为，包括黎卡蒂方程与估计器增益的收敛性。
• 提出LQR与KF的数值实现算法，涵盖预测器、滤波器与平滑器各类变体。
• 通过仿真展示性能差异，表明卡尔曼平滑器的估计方差最低。

提出的方法

• 通过最小化二次型代价函数，利用动态规划与汉密尔顿-雅可比-贝尔曼方程推导LQR控制器。
• 求解离散时间黎卡蒂方程以获得LQR增益矩阵，实现最优状态反馈控制。
• 基于分离原理推导卡尔曼滤波器，通过卡尔曼增益与黎卡蒂方程最小化估计误差方差。
• 应用卡尔曼预测器、滤波器与平滑器公式，实现时变与稳态增益计算。
• 利用代数黎卡蒂方程（ARE）分析在可观测性与过程噪声正定条件下的估计器收敛性。
• 通过线性时不变（LTI）系统数值仿真，对比预测器、滤波器与平滑器的估计性能，采用高斯噪声模型。

Figure 1: Response of LTI system with LQR: (a) $N=5,$ (b) $N=50$ .

实验结果

研究问题

• RQ1 如何通过二次型代价最小化推导线性系统的最优控制律？
• RQ2 在何种条件下可确保卡尔曼滤波器估计器收敛至稳态增益矩阵？
• RQ3 卡尔曼预测器、滤波器与平滑器在估计误差方差方面的性能特征有何差异？
• RQ4 黎卡蒂方程在LQR与KF的推导与数值实现中起什么作用？
• RQ5 分离原理如何实现LQR与KF组件的LQG控制设计？

主要发现

• LQR控制器被推导为离散时间最优控制问题的解，其目标是在有限时域内最小化二次型代价函数。
• 卡尔曼滤波器估计器通过最优融合系统动态模型与噪声测量，最小化均方估计误差。
• 对于可观测的LTI系统且过程噪声为正定的情况，卡尔曼滤波器的黎卡蒂方程收敛至唯一正定解，从而实现固定增益估计。
• 卡尔曼平滑器提供最精确的状态估计，其方差最低；而预测器因缺乏未来测量信息，方差最高。
• 在稳态下，最优估计器增益与黎卡蒂矩阵收敛至时不变值，从而在收敛后可减少在线计算量。
• 数值仿真结果证实，卡尔曼平滑器在估计精度上优于滤波器与预测器，方差按如下顺序递减：预测器 > 滤波器 > 平滑器。

Figure 2: Gaussian distribution: graphical representation