[논문 리뷰] A Note on Linear Quadratic Regulator and Kalman Filter

Midhun T. Augustine|arXiv (Cornell University)|2023. 08. 30.

Inertial Sensor and Navigation인용 수 4

한 줄 요약

이 노트는 이산시간 선형 시스템에 대한 선형 제곱 조절기(LQR)와 칼만 필터(KF)의 이론적이고 직관적인 소개를 제공하며, 최적의 제어 및 추정 법칙을 유도한다. 동적 프로그래밍과 리카티 방정식을 사용하여 LQR 제어기와 KF 추정기의 유도를 다루며, 관측 가능성과 제어 가능성 조건 하에서 안정 상태 해로의 수렴을 보여주며, 수치 구현 세부 사항과 시뮬레이션 결과를 통해 예측기, 필터, 스무스터 버전 간의 성능을 입증한다.

ABSTRACT

Two central problems in modern control theory are the controller design problem: which deals with designing a control law for the dynamical system, and the state estimation problem (observer design problem): which deals with computing an estimate of the states of the dynamical system. The Linear Quadratic Regulator (LQR) and Kalman Filter (KF) solves these problems respectively for linear dynamical systems in an optimal manner, i.e., LQR is an optimal state feedback controller and KF is an optimal state estimator. In this note, we will be discussing the basic concepts, derivation, steady-state analysis, and numerical implementation of the LQR and KF.

연구 동기 및 목표

• 이산시간 선형 시스템에서 선형 제곱 조절기(LQR)와 칼만 필터(KF)의 이론적 기초를 제공하는 것.
• 동적 프로그래밍과 리카티 방정식을 사용하여 최적의 제어 및 추정 법칙을 도출하는 것.
• LQR와 KF의 안정 상태 행동을 분석하며, 리카티 방정식과 추정기 이득의 수렴성을 포함한다.
• 예측기, 필터, 스무스터 버전을 포함한 LQR와 KF의 수치적 구현 알고리즘을 제시하는 것.
• 시뮬레이션을 통해 성능 차이를 입증하며, 칼만 스무스터가 가장 낮은 추정 분산을 보임을 보여주는 것.

제안 방법

• 이산시간 최적 제어 문제의 해로서 LQR 제어기를 유도하기 위해 이차 비용 함수를 최소화하는 데 동적 프로그래밍과 하미튼-자코비-벨만 방정식을 사용한다.
• LQR 이득 행렬을 위한 이산시간 리카티 방정식을 풀어 최적의 상태 피드백 제어를 가능하게 한다.
• 분리 원리에 기반하여 칼만 필터를 유도하며, 칼만 이득과 리카티 방정식을 통해 추정 오차 분산을 최소화한다.
• 칼만 예측기, 필터, 스무스터 공식화를 적용하며, 시간에 따라 변화하는 이득과 안정 상태 이득 계산을 수행한다.
• 관측 가능성과 정의된 과정 노이즈 조건 하에서 추정기의 안정 상태 수렴성을 분석하기 위해 대수적 리카티 방정식(ARE)을 사용한다.
• LTI 시스템을 대상으로 수치 시뮬레이션을 수행하여, 가우시안 노이즈 모델을 사용하여 예측기, 필터, 스무스터 간의 상태 추정 성능을 비교한다.

Figure 1: Response of LTI system with LQR: (a) $N=5,$ (b) $N=50$ .

실험 결과

연구 질문

• RQ1 선형 시스템에 대한 최적의 제어 법칙은 어떻게 이차 비용 최소화를 통해 도출될 수 있는가?
• RQ2 칼만 필터 추정기가 안정 상태 이득 행렬로 수렴하기 위한 조건은 무엇인가?
• RQ3 추정 오차 분산 측면에서 칼만 예측기, 필터, 스무스터의 성능 특성은 어떻게 비교되는가?
• RQ4 리카티 방정식은 LQR와 KF의 유도 및 수치적 구현에서 어떤 역할을 하는가?
• RQ5 분리 원리는 LQR와 KF 구성 요소를 사용한 LQG 제어 설계를 어떻게 가능하게 하는가?

주요 결과

• LQR 제어기는 유한 시간 간격 동안 이차 비용 함수를 최소화하는 이산시간 최적 제어 문제의 해로서 도출된다.
• 칼만 필터 추정기는 시스템 역학과 노이즈가 있는 측정치를 최적으로 조합함으로써 평균 제곱 추정 오차를 최소화한다.
• 양의 정부호 과정 노이즈를 가진 관측 가능한 LTI 시스템에서는 칼만 필터 리카티 방정식이 고유한 양의 정부호 해로 수렴하며, 고정 이득 추정이 가능해진다.
• 칼만 스무스터는 가장 정확한 상태 추정을 제공하며 분산이 가장 낮다. 반면 예측기는 미래 측정치가 없기 때문에 가장 높은 분산을 가진다.
• 최적의 추정기 이득과 리카티 행렬은 안정 상태에서 시간 불변 값으로 수렴하며, 수렴 후에는 온라인 계산량을 줄일 수 있다.
• 수치 시뮬레이션을 통해 칼만 스무스터가 필터와 예측기보다 추정 정확도에서 뛰어나며, 분산의 순서가 예측기 > 필터 > 스무스터로 감소하는 것으로 확인되었다.

Figure 2: Gaussian distribution: graphical representation