[논문 리뷰] The Power of Linear Controllers in LQR Control

Gautam Goel, Babak Hassibi|arXiv (Cornell University)|2020. 02. 07.

Smart Grid Energy Management인용 수 7

한 줄 요약

이 논문은 확률적 선형 제곱조절기(LQR) 제어에서 정책 회귀(regret)를 분석하며, 세 가지 제어기인 최적의 온라인(Riccati 기반), 최적의 오프라인 선형(상태 피드백), 최적의 오프라인(전역적으로 최적의 조작)을 비교한다. 시간 영역 T → ∞ 일 때, 최적의 오프라인 선형 정책의 비용이 거의 확실히 최적의 온라인 정책의 비용으로 수렴함을 증명하며, 이는 i.i.d. 노이즈 조건 하에서도 최적의 오프라인 정책에 대한 선형 회귀를 의미한다. 이는 LQR에서 회귀 최소화 조건 하에서 선형 제어기의 기본 성능 한계를 확립한다.

ABSTRACT

The Linear Quadratic Regulator (LQR) framework considers the problem of regulating a linear dynamical system perturbed by environmental noise. We compute the policy regret between three distinct control policies: i) the optimal online policy, whose linear structure is given by the Ricatti equations; ii) the optimal offline linear policy, which is the best linear state feedback policy given the noise sequence; and iii) the optimal offline policy, which selects the globally optimal control actions given the noise sequence. We fully characterize the optimal offline policy and show that it has a recursive form in terms of the optimal online policy and future disturbances. We also show that cost of the optimal offline linear policy converges to the cost of the optimal online policy as the time horizon grows large, and consequently the optimal offline linear policy incurs linear regret relative to the optimal offline policy, even in the optimistic setting where the noise is drawn i.i.d from a known distribution. Although we focus on the setting where the noise is stochastic, our results also imply new lower bounds on the policy regret achievable when the noise is chosen by an adaptive adversary.

연구 동기 및 목표

• 스토케스틱 LQR에서 최적의 온라인, 최적의 오프라인 선형, 최적의 오프라인 제어 정책 간의 성능 격차를 규명하는 것.
• 이 세 제어기 간의 시간 평균 비용 차이를 바탕으로 정책 회귀를 정량화하는 것.
• 최적의 오프라인 선형 정책이 비록 선형 피드백에 제약을 받지만, 시간이 지남에 따라 최적의 온라인 정책의 비용과 점 渐차로 수렴함을 입증하는 것.
• 스토케스틱 설정에서의 결과를 활용하여 악성 노이즈 조건 하에서 정책 회귀의 새로운 하한을 유도하는 것.
• 온라인 LQR 제어에서 회귀 최소화 조건 하에서 선형 제어기의 한계에 대한 이론적 기반을 제공하는 것.

제안 방법

• Riccati 방정식을 사용하여 최적의 온라인 정책을 유도하며, 이는 인과적 선형 피드백 제어 법칙 ut = -Ktxt 를 도출한다.
• 최적의 오프라인 선형 정책을 알려진 노이즈 시퀀스 w에 대해 총 비용을 최소화하는 선형 상태 피드백 제어기 K*로 특성화한다.
• 최적의 온라인 정책과 향후 외란을 바탕으로 최적의 오프라인 정책의 재귀적 분해를 사용한다.
• McDiarmid의 부등식을 적용하여 안정된 선형 정책의 시간 평균 비용이 그 무한수렴 기대값 주위에 집중됨을 보인다.
• T → ∞ 일 때 최적의 오프라인 선형 정책의 비용이 최적의 온라인 정책의 비용으로 거의 확실히 수렴함을 증명한다.
• 시스템 행렬과 Riccati 방정식의 해를 포함하는 추적 기반 비용 표현을 사용하여 세 정책 간의 시간 평균 정책 회귀에 대한 명시적 표현을 도출한다.

실험 결과

연구 질문

• RQ1 스토케스틱 LQR에서 최적의 오프라인 선형 정책의 비용이 시간이 지남에 따라 최적의 온라인 정책의 비용과 어떻게 비교되는가?
• RQ2 T → ∞ 일 때 최적의 온라인 정책과 최적의 오프라인 선형 정책 간의 시간 평균 정책 회귀는 무엇인가?
• RQ3 스토케스틱 설정에서의 결과를 활용하여 악성 노이즈 조건 하에서 정책 회귀의 하한을 도출할 수 있는가?
• RQ4 미래의 외란을 기반으로 최적의 오프라인 정책과 최적의 온라인 정책 간의 구조적 관계는 무엇인가?
• RQ5 최적의 오프라인 선형 정책은 최적의 오프라인 정책에 대해 비선형 회귀를 달성하는가?

주요 결과

• 최적의 오프라인 선형 정책의 비용이 T → ∞ 일 때 거의 확실히 최적의 온라인 정책의 비용으로 수렴함을 보이며, 이는 이들 사이의 시간 평균 회귀가 사라짐을 의미한다.
• 최적의 온라인 정책과 최적의 오프라인 정책 간의 시간 평균 정책 회귀는 시스템 행렬의 추적과 Riccati 방정식의 해를 포함하는 0이 아닌 상수로 수렴한다.
• 최적의 오프라인 선형 정책과 최적의 오프라인 정책 간의 시간 평균 정책 회귀는 위와 동일한 0이 아닌 상수로 수렴한다.
• 최적의 오프라인 선형 정책은 노이즈가 알려진 분포에서 i.i.d. 이더라도, 최적의 오프라인 정책에 대해 선형 회귀를 경험한다.
• 결과는 악성 LQR 설정에서 어떤 인과적 정책이라도 달성 가능한 정책 회귀의 기본 하한을 암시한다.
• 비용의 수렴은 농도 부등식과 최적 제어기 하에서의 폐루프 시스템의 안정성에 의해 확립된다.