[논문 리뷰] Finite Time Analysis of Optimal Adaptive Policies for Linear-Quadratic Systems.

Mohamad Kazem Shirani Faradonbeh, Ambuj Tewari외 1명|arXiv (Cornell University)|2017. 11. 20.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 26

한 줄 요약

이 논문은 동역학이 알려지지 않은 선형-제곱형 시스템에서 적응형 제어에 대해 유한 시간 내 고확률 성능 한계를 제시하며, 로그 인자까지 최적성을 달성한다. 랜덤 선형 피드백을 사용하는 안정화 알고리즘을 도입하고, 시스템의 안정가능성과 노이즈의 모멘트 조건이라는 최소한의 가정 하에 보장을 수립한다.

ABSTRACT

We consider the classical problem of control of linear systems with quadratic cost. When the true system dynamics are unknown, an adaptive policy is required for learning the model parameters and planning a control policy simultaneously. Addressing this trade-off between accurate estimation and good control represents the main challenge in the area of adaptive control. Another important issue is to prevent the system becoming destabilized due to lack of knowledge of its dynamics. Asymptotically optimal approaches have been extensively studied in the literature, but there are very few non-asymptotic results which also do not provide a comprehensive treatment of the problem. In this work, we establish finite time high probability regret bounds that are optimal up to logarithmic factors. We also provide high probability guarantees for a stabilization algorithm based on random linear feedbacks. The results are obtained under very mild assumptions, requiring: (i) stabilizability of the matrices encoding the system's dynamics, and (ii) degree of heaviness of the noise distribution. To derive our results, we also introduce a number of new concepts and technical tools.

연구 동기 및 목표

• 알려지지 않은 선형-제곱형 시스템의 적응형 제어에서 탐색(파라미터 추정)과 이용(제어 성능)의 균형을 맞추는 문제에 대응하기 위해.
• 이전의 점근적 결과의 한계를 극복하기 위해 비점근적이고 고확률적인 성능 보장을 제공하기 위해.
• 학습 단계 동안 안정성을 확보하기 위해 무작위 선형 피드백 기반의 안정화 알고리즘을 도입하기 위해.
• 시스템 동역학과 노이즈에 대한 최소한의 가정 하에, 유한 시간 내 성능 한계가 최적임을 입증하기 위해.

제안 방법

• 새로운 기술적 도구와 개념을 사용하여 선형-제곱형 시스템에서 적응형 정책에 대한 유한 시간 고확률 성능 한계를 유도한다.
• 학습 단계 동안의 불안정성을 방지하기 위해 랜덤 선형 피드백 기반의 안정화 메커니즘을 도입한다.
• 약한 가정에 의존한다: 시스템 행렬의 안정가능성과 노이즈 분포의 모멘트 조건.
• 동시에 시스템 동역학을 학습하고 제어 정책을 계산하는 프레임워크를 활용하여 안정성과 성능 한계 보장을 보장한다.
• 집중 불등식과 마팅게일 추론을 활용하여 추정 오차와 제어 오차의 고확률 보장을 수립한다.
• 유한 시간 내에서 파라미터 추정 불확실성과 제어 성능 간의 상호작용을 다루기 위해 새로운 분석 도구를 개발한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 동역학을 가진 선형-제곱형 시스템에서 적응형 정책이 달성할 수 있는 유한 시간 성능 한계는 무엇인가?
• RQ2 시스템 동역학이 알려지지 않은 상황에서 학습 과정 동안 시스템 안정성을 어떻게 보장할 수 있는가?
• RQ3 성능 한계는 어느 정도 최적이며, 정보 이론적 하한선과 어떻게 비교되는가?
• RQ4 시스템의 구조와 노이즈에 대해 최소한의 가정 하에 랜덤 선형 피드백을 사용해 안정화를 달성할 수 있는가?
• RQ5 유한 시간 성능과 안정성을 동시에 확보하기 위해 필요한 최소한의 가정은 무엇인가?

주요 결과

• 논문은 로그 인자까지 최적임을 입증한 유한 시간 고확률 성능 한계를 확립하였으며, 점근적 결과에 비해 상당한 향상을 이룬다.
• 랜덤 선형 피드백 기반의 안정화 알고리즘이 고확률 보장을 갖추어 학습 과정 중 시스템 안정성을 보장한다.
• 최소한의 가정 하에 성립한다: 시스템 행렬의 안정가능성과 노이즈 분포의 모멘트 조건.
• 유한 시간 내 추정 오차와 제어 오차의 상호작용을 엄밀히 제어할 수 있도록 새로운 기술적 도구와 개념을 도입한다.
• 프레임워크는 동시에 시스템 동역학을 학습하고 제어 정책을 계산하여, 유한 시간 내 안정성과 근사 최적성을 동시에 달성한다.
• 비점근적 성능 보장을 제공하여 적응형 제어 분야의 문헌에서 중요한 격차를 메운다.