[논문 리뷰] Linear Quadratic Reinforcement Learning: Sublinear Regret in the Episodic Continuous-Time Framework

Matteo Basei, Xin Guo외 1명|arXiv (Cornell University)|2020. 06. 27.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 에피소드 설정에서 선형 제곱 제어를 위한 연속시간 강화학습 알고리즘을 제안하며, 정규화된 최소 제곱 추정을 사용하여 하위선형의 회귀를 달성한다. 일반적인 경우에 대해 $ \tilde{O}(N^{9/10})$의 회귀 한계를 설정하고, 1차원 경우에 대해 $ \tilde{O}( \sqrt{N})$를 달성하여 난이도 높은 이산화 방법의 선형 회귀를 초월한다.

ABSTRACT

This paper studies a continuous-time linear quadratic reinforcement learning problem in an episodic setting. We first show that naive discretization and piecewise approximation with discrete-time RL algorithms yields a linear regret with respect to the number of learning episodes $N$. We then propose an algorithm with continuous-time controls based on a regularized least-squares estimation. We establish a sublinear regret bound in the order of $ ilde O(N^{9/10})$. The analysis consists of two parts: parameter estimation error, which relies on properties of sub-exponential random variables and double stochastic integrals; and perturbation analysis, which establishes the robustness of the associated continuous-time Riccati equation by exploiting its regularity property. The regret bound for the one-dimensional case improves to $ ilde O(\sqrt{N})$.

연구 동기 및 목표

• 연속시간 선형 제곱 강화학습에서 난이도 높은 이산화 방법의 한계를 해결하기 위해.
• 에피소드 설정에서 하위선형 회귀를 달성하는 연속시간 제어 알고리즘을 개발하기 위해.
• 매개변수 추정 오차와 리카티 방정식의 변화를 분석하여 이론적 회귀 한계를 수립하기 위해.
• 연속시간 동역학과 정규화를 활용하여 기존 이산시간 근사치를 향상시키기 위해.

제안 방법

• 알고리즘은 이산화 오차를 피하기 위해 연속시간에서 시스템 매개변수를 학습하기 위해 정규화된 최소 제곱 추정을 사용한다.
• 시스템 동역학을 연속시간 제어를 사용하여 모델링하고, 추정 오차 제어를 위해 하중수의 지수적 랜덤 변수의 성질을 활용한다.
• 이중 스토케스틱 적분을 사용하여 매개변수 학습 과정에서의 추정 오차를 분석한다.
• 제어 정책의 안정성과 강건성을 확보하기 위해 연속시간 리카티 방정식의 변화 분석을 수행한다.
• 매개변수 추정 오차가 제어 성능에 미치는 영향을 제한하기 위해 리카티 방정식의 규칙성을 활용한다.
• 추정 오차 분석과 리카티 해의 강건성 분석을 결합하여 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 연속시간 강화학습 알고리즘이 에피소드 설정에서 선형 제곱 제어에서 하위선형 회귀를 달성할 수 있는가?
• RQ2 연속시간 LQR에서 난이도 높은 이산화 방법의 기본적인 회귀 한계는 무엇인가?
• RQ3 최소 제곱 추정에서의 정규화가 연속시간에서의 매개변수 추정 오차에 어떤 영향을 미치는가?
• RQ4 리카티 방정식의 규칙성은 매개변수 추정 오차에 대한 강건성을 어느 정도 보장하는가?
• RQ5 특수한 경우, 예를 들어 1차원 설정에서 회귀 한계를 향상시킬 수 있는가?

주요 결과

• 제안된 알고리즘은 일반적인 다차원 설정에서 $\\tilde{O}(N^{9/10})$의 회귀 한계를 달성하며, 이는 에피소드 수 $N$에 대해 하위선형이다.
• 1차원 설정에서는 회귀 한계가 $\\tilde{O}(\\sqrt{N})$로 향상되어 저차원 설정에서의 성능 향상이 뚜렷하다.
• 난이도 높은 이산화와 이산시간 강화학습 알고리즘을 사용한 조각별 근사치는 선형 회귀를 초래하며, 이는 최적화되지 않은 결과이다.
• 하중수의 지수적 랜덤 변수의 성질과 이중 스토케스틱 적분을 사용하여 매개변수 추정 오차를 제어한다.
• 리카티 방정식의 규칙성 특성 덕분에 변화에 대한 강건성이 확립되어 안정적인 제어 정책 학습이 가능하다.
• 분석 결과, 정규화된 연속시간 모델링이 이산시간 근사치보다 더 나은 회귀 성능을 제공함을 입증한다.