[논문 리뷰] On Optimality of Adaptive Linear-Quadratic Regulators.

Mohamad Kazem Shirani Faradonbeh, Ambuj Tewari외 1명|arXiv (Cornell University)|2018. 06. 28.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 11

한 줄 요약

이 논문은 적응형 선형-제곱형 조절기에서의 손실을 날카롭게 특성화하기 위해 적응형 정책의 새로운 분해를 도입하여, 수정된 Certainty Equivalence 기법이 거의 제곱근 손실 비율을 달성함을 증명한다. 최적의 매개변수 식별 속도를 확립하고, 로그 수준의 손실으로 감소시키기 위해 필요한 최소한의 추가 정보를 규명하여 적응성 이론의 핵심적 격차를 해결한다.

ABSTRACT

Adaptive regulation of linear systems represents a canonical problem in stochastic control. Performance of adaptive control policies is assessed through the regret with respect to the optimal regulator, that reflects the increase in the operating cost due to uncertainty about the parameters that drive the dynamics of the system. However, available results in the literature do not provide a sharp quantitative characterization of the effect of the unknown dynamics parameters on the regret. Further, there are issues on how easy it is to implement the adaptive policies proposed in the literature. Finally, results regarding the accuracy that the system's parameters are identified are scarce and rather incomplete. This study aims to comprehensively address these three issues. First, by introducing a novel decomposition of adaptive policies, we establish a sharp expression for the regret of an arbitrary policy in terms of the deviations from the optimal regulator. Second, we show that adaptive policies based on a slight modification of the widely used Certainty Equivalence scheme are optimal. Specifically, we establish a regret of (nearly) square-root rate for two families of randomized adaptive policies. The presented regret bounds are obtained by using anti-concentration results on the random matrices employed when randomizing the estimates of the unknown dynamics parameters. Moreover, we study the minimal additional information needed on dynamics matrices for which the regret will become of logarithmic order. Finally, the rate at which the unknown parameters of the system are being identified is specified for the proposed adaptive policies.

연구 동기 및 목표

• 모르는 시스템 매개변수로 인한 적응형 선형-제곱형 조절기에서의 손실에 대해 날카운 정량적 특성화를 제공하기 위해.
• 스토케스틱 제어 환경에서 기존의 적응형 제어 정책의 실용성과 구현 가능성에 대해 다루기 위해.
• 제안된 적응형 정책 하에서 모르는 시스템 매개변수의 식별 속도를 규명하기 위해.
• 손실을 로그 수준으로 감소시키기 위해 필요한 최소한의 추가 정보를 규명하기 위해.
• 손실 한계, 정책의 구현 가능성, 매개변수 추정 정확도에 관해 문헌의 격차를 메우기 위해.

제안 방법

• 최적의 조절기에서의 이탈을 양적 측정하는 방식으로 손실을 표현하는 적응형 정책의 새로운 분해를 도입하기 위해.
• 랜덤화된 매개변수 추정을 사용하여 최적의 손실 성능을 달성하는 수정된 Certainty Equivalence 정책을 분석하기 위해.
• 랜덤 행렬에 대한 반집중 결과를 적용하여 랜덤화된 적응형 정책에 대한 날카운 손실 한계를 유도하기 위해.
• 행렬 농도 부등식을 사용하여 랜덤화 하에 매개변수 추정의 통계적 행동을 정량화하기 위해.
• 추가 사전 정보에 기반하여 손실이 제곱근에서 로그 수준으로 전이되는 조건을 유도하기 위해.
• 통계학적 학습 이론을 사용하여 제안된 적응형 정책의 매개변수 식별 속도를 수립하기 위해.

실험 결과

연구 질문

• RQ1 적응형 LQR에서 정책이 최적성에서의 이탈과 손실 사이의 정확한 관계는 무엇인가?
• RQ2 수정된 Certainty Equivalence 정책은 적응형 선형-제곱형 제어에서 거의 최적의 손실 비율을 달성할 수 있는가?
• RQ3 제안된 적응형 정책 하에서 모르는 시스템 매개변수의 추정 속도는 무엇인가?
• RQ4 손실을 로그 수준으로 감소시키기 위해 필요한 최소한의 추가 정보는 무엇인가?
• RQ5 랜덤화와 랜덤 행렬의 반집중 성질은 손실 한계에 어떻게 영향을 미치는가?

주요 결과

• 모든 적응형 정책의 손실는 최적의 조절기에서의 이탈을 정량화하는 분해를 통해 날카롭게 특성화된다.
• 수정된 Certainty Equivalence 정책는 시간 영역에 대해 거의 제곱근 비율로 손실를 달성하며, 기본 하한선과 일치한다.
• 랜덤 행렬의 반집중 성질은 랜덤 추정 기법에 대한 날카운 손실 한계 유도에 핵심적인 역할을 한다.
• 제안된 적응형 정책는 선형 회귀 모델에서 통계적으로 최적임과 일치하는 속도로 시스템 매개변수를 식별한다.
• 다이나믹스 행렬에 대한 추가적인 구조 정보가 가용할 경우 손실는 로그 수준으로 감소시킬 수 있다.
• 이 연구는 통합된 프레임워크 하에서 적응형 LQR에 대한 첫 번째 완전한 손실 특성화, 매개변수 추정 속도, 그리고 정책의 구현 가능성에 대한 특성화를 수립한다.