[논문 리뷰] Least-Squares Temporal Difference Learning for the Linear Quadratic Regulator

Stephen Tu, Benjamin Recht|arXiv (Cornell University)|2017. 12. 22.

Control Systems and Identification인용 수 56

한 줄 요약

이 논문은 LQR 문제에 대한 LSTD 추정기의 최초의 유한시간 분석을 제공하며, 고정 안정화 정책에 대해 ε-상대 오차 이내로 가치 함수를 추정하는 데 필요한 샘플 수를 도출하고, 빠르게 혼합되는 과정에서 공분산 고유값 bound를 제시합니다.

ABSTRACT

Reinforcement learning (RL) has been successfully used to solve many continuous control tasks. Despite its impressive results however, fundamental questions regarding the sample complexity of RL on continuous problems remain open. We study the performance of RL in this setting by considering the behavior of the Least-Squares Temporal Difference (LSTD) estimator on the classic Linear Quadratic Regulator (LQR) problem from optimal control. We give the first finite-time analysis of the number of samples needed to estimate the value function for a fixed static state-feedback policy to within $\\varepsilon$-relative error. In the process of deriving our result, we give a general characterization for when the minimum eigenvalue of the empirical covariance matrix formed along the sample path of a fast-mixing stochastic process concentrates above zero, extending a result by Koltchinskii and Mendelson in the independent covariates setting. Finally, we provide experimental evidence indicating that our analysis correctly captures the qualitative behavior of LSTD on several LQR instances.

연구 동기 및 목표

• 연속 제어에서 LQR을 벤치마크로 사용하여 모델-프리 RL 방법의 샘플 복잡도를 동기부여하고 정량화한다.
• LQR에서 고정된 정책에 대한 Least-Squares Temporal Difference 추정기의 성능을 분석한다.
• 빠르게 혼합되는 궤적 하에서 실현 공분산 행렬의 고유값 집중(bound) 결과를 개발한다.
• 실용적 데이터 효율성 및 강건성을 평가하기 위해 모델-프리 LSPI와 모델-기반 접근법을 비교한다.

제안 방법

• LQR에 대한 선형 구조의 가치 함수 아래에서 LSTD를 분석한다.
• 대략적으로 n^2/ε^2 샘플이 ε-상대 오차에 충분함을 보이는 유한 시간 샘플 복잡도 상한을 도출한다.
• Koltchinskii와 Mendelson을 확장하여 빠르게 혼합되는 과정에서의 샘플 공분산에 대한 일반적인 고유값 집중(bound)를 개발한다.
• 선형 피드백 정책과 가우시안 교란을 갖는 LQR 설정에 결과를 특수화한다.
• 이론적 통찰을 검증하기 위해 LSPI와 모델 기반 방법 간의 경험적 비교를 제공한다.
• Lyapunov 기반 분석 및 H∞-노름 기법을 활용하여 빠르게 혼합되는 특성과 스펙트럼 특성을 규정한다.

실험 결과

연구 질문

• RQ1 고정된 안정화 정책 하에서 LQR에 대한 V^π를 추정하기 위한 LSTD의 유한 샘플 샘플 복잡도는 얼마인가?
• RQ2 빠르게 혼합되는 궤적을 따라 경험적 공분산의 최소 고유값이 어떻게 집중되는지, 그리고 이것이 LSTD 오차 bound에 어떤 영향을 미치는가?
• RQ3 데이터 효율성과 강건성 측면에서 모델-프리 LSPI와 모델 기반 방법은 LQR에서 어떻게 비교되는가?
• RQ4 LQR 설정을 사용하여 혼합 과정에서 발생하는 의존 데이터에 기존 공분산 집중 결과를 확장할 수 있는가?

주요 결과

• LSTD는 LQR에서 고정된 안정화 정책에 대해 값 함수를 ε-상대 오차로 추정하는 데 대략 n^2/ε^2 샘플이 필요하다.
• 본 논문은 빠르게 혼합되는 과정에 대한 경험적 공분산의 최소 고유값에 대한 일반적인 경계(bound)를 제시하며, 선행 독립 공변량 결과를 확장한다.
• 결과를 경계된 공변량으로 특수화하면 궤적 길이 요구사항이 이전 연구에 비해 개선되어 일부 설정에서 의존도가 d^2에서 d로 감소한다.
• 경험적 결과는 여러 LQR 인스턴스에서 모델-프리 LSPI가 샘플 효율성 면에서 더 낮고, 모델 기반 방법보다 강건하지 않을 수 있음을 시사한다.
• 분석은 모델-프리 설정에서 가치 함수 추정의 샘플 필요량과 안정한 제어기 계산 경계 사이에 상태 차원의 간격이 있음을 시사한다.