[논문 리뷰] Regret Lower Bounds for Learning Linear Quadratic Gaussian Systems

Ingvar Ziemann, Henrik Sandberg|arXiv (Cornell University)|2022. 01. 05.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 알려지지 않은 선형 2차 과거 가우시안(LQG) 시스템의 적응형 제어에 대한 정보이론적 최소 위험 하한을 설정하며, 위험 값이 Ω(√T)로 증가하고 시스템 이론적 성질인 가용성, 관측 가능성, 그람형 행렬 구조에 따라 결정됨을 보여준다. 이러한 하한은 가용성 또는 관측 가능성이 열악한 시스템이 학습하여 제어하는 데 본질적으로 더 어려운 것을 드러내며, 시스템 이론적 상수에 대한 개선된 스케일링을 이전 연구에 비해 제공한다.

ABSTRACT

TWe establish regret lower bounds for adaptively controlling an unknown linear Gaussian system with quadratic costs. We combine ideas from experiment design, estimation theory and a perturbation bound of certain information matrices to derive regret lower bounds exhibiting scaling on the order of magnitude $\sqrt{T}$ in the time horizon $T$. Our bounds accurately capture the role of control-theoretic parameters and we are able to show that systems that are hard to control are also hard to learn to control; when instantiated to state feedback systems we recover the dimensional dependency of earlier work but with improved scaling with system-theoretic constants such as system costs and Gramians. Furthermore, we extend our results to a class of partially observed systems and demonstrate that systems with poor observability structure also are hard to learn to control.

연구 동기 및 목표

• 알려지지 않은 선형 가우시안 시스템에 대한 적응형 제어의 기본 성능 한계를 설정하기.
• 가용성 및 관측 가능성과 같은 시스템 이론적 성질이 제어를 학습하는 데 미치는 영향을 정량화하기.
• 그람형 및 비용 행렬을 포함한 시스템 매개변수에 따라 정확하게 스케일링되는 위험 하한을 유도하기.
• 부분 관측 가능한 시스템으로 결과를 확장하여, 관측 가능성의 열 劣화가 학습 어려움을 증가시킴을 보여주기.
• 일반적으로 로그 스케일의 위험은 달성 가능하지 않음을 입증하기, 즉 더 강한 가정이 성립하지 않는 한, 전체 랭크 측정 노이즈가 있더라도

제안 방법

• 실험 설계, 추정 이론, 정보 행렬의 섭동 분석 도구를 조합하여 하한을 유도하기.
• 피셔 정보 행렬의 섭동 한계를 사용하여 추정 불확실성과 제어 위험를 연결하기.
• 모델 불확실성에 대한 강건성을 확보하기 위해 매개변수 이웃 영역 B(θ, ε)에서 위험를 분석하기 위한 최소 최대 프레임워크 적용하기.
• 특히 필터링된 상태 공분산 Σ̂X¹을 포함한 한계 공분산 행렬을 통해 渐近적 위험 하한을 도출하기.
• 불안정 모드와 부분 관측 가능성을 갖는 구조적 시스템 모델을 도입하여 학습에서의 실패 모드를 드러내기.
• 시스템 동역학 및 제어 이득을 포함한 정보 행렬 곱의 트레이스를 제한하기 위해 행렬 분석을 활용하기.

실험 결과

연구 질문

• RQ1 알려지지 않은 선형 가우시안 시스템에 대해 2차 비용을 갖는 제어를 학습할 때의 기본적인 위험 하한은 무엇인가?
• RQ2 가용성 및 관측 가능성과 같은 시스템 이론적 성질은 제어를 학습하는 데 미치는 영향은 무엇인가?
• RQ3 측정 노이즈가 전체 랭크일 때, 부분 관측 가능한 LQG 시스템에서 로그 스케일의 위험을 달성할 수 있는가?
• RQ4 제어 정책의 선택은 학습에서 탐색과 이용의 상호 교환에 어떤 영향을 미치는가?
• RQ5 피셔 정보 행렬의 구조는 기본 학습 한계를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 위험 하한은 Ω(√T)로 스케일링되며, 알려지지 않은 LQG 시스템을 제어하기 위해 학습하는 것은 본질적으로 비선형이지만 소멸하지 않는 위험를 수반함을 확인한다.
• 가용성 또는 관측 가능성 구조가 열 劣한 시스템은 상당히 높은 위험 하한을 보이며, 제어 어려움이 학습 어려움에 직접적인 영향을 미침을 확인한다.
• 이전 연구에 비해 그람형 및 비용 행렬과 같은 시스템 이론적 상수에 대한 스케일링이 향상된 하한을 도출하였다.
• 부분 관측 가능한 시스템에서는 관측 가능성이 불안정 모드에 대해 상실될 경우 위험 하한이 발산하며, 특히 ‖C23‖op → 0일 때 더욱 두드러진다.
• 원시 상태 공분산이 아닌 필터링된 상태 공분산 Σ̂X¹이 渐近적 위험 하한을 지배하며, 탐지 가능성과 안정성의 영향을 반영한다.
• ΣV ≻ 0만으로는 로그 스케일의 위험을 확보할 수 없으며, 이는 이전 연구의 가정을 도전하며 지속적인 자극 조건과 같은 더 강력한 조건이 필요함을 강조한다.