[논문 리뷰] Regret Minimization in Partially Observable Linear Quadratic Control

Sahin Lale, Kamyar Azizzadenesheli외 2명|arXiv (Cornell University)|2020. 01. 31.

Advanced Bandit Algorithms Research참고 문헌 45인용 수 9

한 줄 요약

이 논문은 동역학이 알려져 있지 않은 부분 관측 가능한 선형 제곱 제어에서 손실 최소화를 위한 ExpCommit을 제안한다. Ho-Kalman 알고리즘을 통해 마르코프 파라미터를 추정하고 불확실성에 대한 낙관주의를 적용함으로써, ExpCommit는 $ ilde{/mathcal{O}}(T^{2/3})$의 하위선형 손실 경계를 달성한다. 이는 이 설정에서 처음으로 얻어진 결과이다.

ABSTRACT

We study the problem of regret minimization in partially observable linear quadratic control systems when the model dynamics are unknown a priori. We propose ExpCommit, an explore-then-commit algorithm that learns the model Markov parameters and then follows the principle of optimism in the face of uncertainty to design a controller. We propose a novel way to decompose the regret and provide an end-to-end sublinear regret upper bound for partially observable linear quadratic control. Finally, we provide stability guarantees and establish a regret upper bound of $ ilde{\mathcal{O}}(T^{2/3})$ for ExpCommit, where $T$ is the time horizon of the problem.

연구 동기 및 목표

• 시스템 동역학이 사전에 알려져 있지 않을 때 부분 관측 가능한 선형 제곱 제어에서 손실 최소화 문제를 다루는 것.
• 누적 비용이 최적 제어기에서의 비용과의 편차를 최소화할 수 있도록 탐색과 이용의 균형을 이루는 알고리즘을 설계하는 것.
• 잠재 상태 추정 오차가 존재하는 부분 관측 가능한 LQ 시스템에 대해 유한 시간 손실 상한을 확립하는 것. 이 상한은 하위선형이어야 한다.
• 추정된 시스템 파라미터로부터 합성된 제어기의 안정성 보장을 제공하는 것.
• 평균 비용 LQG 제어에 대한 벨만 최적성 방정식을 기반으로 한 새로운 손실 분해 기법을 도입하는 것.

제안 방법

• ExpCommit는 두 단계 구조를 취한다: 데이터 수집 및 시스템 마르코프 파라미터 추정을 위한 가우시안 노이즈 입력을 사용하는 탐색 단계.
• 탐색 기간 동안 비점근적 시스템 식별 기법을 사용하여 추정된 마르코프 파라미터 주변에 고확률 신뢰집합을 구성한다.
• 결정 단계에서, 신뢰집합 내에서 가장 낙관적인 제어기를 선택하기 위해 불확실성에 대한 낙관주의 원칙(OFU)을 적용한다.
• 안정적이고 부분 최적의 제어기를 확보하기 위해, 마르코프 파라미터 추정치를 바탕으로 Ho-Kalman 실현 알고리즘을 사용하여 제어기를 설계한다.
• 평균 비용 LQG 제어에 대한 벨만 최적성 방정식을 기반으로 한 새로운 손실 분해 기법을 유도하여 성능 격차를 분석한다.
• 기술적 도구로는 자기정규화 마링갈 경계, 커버링 추론, 그리고 서브가우시안 농도 부등식을 사용하여 추정 및 손실 오차를 제어한다.

실험 결과

연구 질문

• RQ1 모델 동역학이 알려져 있지 않은 부분 관측 가능한 선형 제곱 제어에서 하위선형 손실 경계를 달성할 수 있는가?
• RQ2 잠재 상태 추정 오차가 존재하는 부분 관측 시스템에 대해 불확실성에 대한 낙관주의가 효과적으로 적용될 수 있는가?
• RQ3 LQG 제어에서 손실 스케일링 측면에서 탐색과 이용의 최적 균형은 무엇인가?
• RQ4 추정된 마르코프 파라미터로부터 설계된 제어기의 유한 시간 안정성 보장을 확립할 수 있는가?
• RQ5 모델 불확실성이 존재하는 평균 비용 LQG 제어를 분석하기 위해 필요한 새로운 손실 분해 기법은 무엇인가?

주요 결과

• ExpCommit는 $\tilde{\mathcal{O}}(T^{2/3})$의 손실 상한을 달성한다. 이는 동역학이 알려져 있지 않은 부분 관측 가능한 선형 제곱 제어에서 처음으로 확보된 하위선형 손실 상한이다.
• 알고리즘은 모델 불확실성 하에서도 추정된 마르코프 파라미터로부터 합성된 제어기의 안정성을 보장한다.
• 벨만 최적성 방정식을 기반으로 한 손실 분해 기법은 모델 추정 오차로 인한 비용 격차를 정밀하게 정량화할 수 있게 한다.
• 비점근적 시스템 식별을 통해 마르코프 파라미터에 대한 고확률 신뢰집합을 구성함으로써, 신뢰성 있는 OFU 기반 제어기 선택이 가능해진다.
• 시스템 실현을 위해 Ho-Kalman 알고리즘을 사용함으로써 추정 모델이 일관되고 안정화 가능해짐을 보장한다.
• 자기정규화 경계 및 행렬 범수에 대한 커버링 추론을 포함한 고급 농도 부등식을 통해 이론적 보장을 강화한다.