[논문 리뷰] Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem

Hesameddin Mohammadi, Armin Zare외 2명|arXiv (Cornell University)|2019. 12. 26.

Adaptive Dynamic Programming Control인용 수 6

한 줄 요약

이 논문은 모델 프리 연속시간 선형 제곱형 조절기(LQR) 문제에서 경사 유도 및 경사 하강법에 대해 지수 안정성과 선형 수렴을 확립한다. 두 방법 모두 ϵ-정확도를 달성하기 위해 필요한 시뮬레이션 시간과 총 함수 평가 수가 log(1/ϵ) 비례로 증가함을 증명하며, 이는 이전의 경계를 크게 향상시키고 이중점 경사 추정에 대해 최적의 샘플 복잡도를 보여준다.

ABSTRACT

Model-free reinforcement learning attempts to find an optimal control action for an unknown dynamical system by directly searching over the parameter space of controllers. The convergence behavior and statistical properties of these approaches are often poorly understood because of the nonconvex nature of the underlying optimization problems and the lack of exact gradient computation. In this paper, we take a step towards demystifying the performance and efficiency of such methods by focusing on the standard infinite-horizon linear quadratic regulator problem for continuous-time systems with unknown state-space parameters. We establish exponential stability for the ordinary differential equation (ODE) that governs the gradient-flow dynamics over the set of stabilizing feedback gains and show that a similar result holds for the gradient descent method that arises from the forward Euler discretization of the corresponding ODE. We also provide theoretical bounds on the convergence rate and sample complexity of the random search method with two-point gradient estimates. We prove that the required simulation time for achieving $\\epsilon$-accuracy in the model-free setup and the total number of function evaluations both scale as $\\log \\, (1/\\epsilon)$.

연구 동기 및 목표

• 모델 프리 연속시간 LQR 문제에서 기반 경사 방법의 수렴성과 샘플 복잡도를 분석하는 것.
• 안정화 피드백 이득에 대한 경사 유도 동역학의 지수 안정성을 확립하는 것.
• 랜덤 서치에서 이중점 경사 추정을 사용한 경우 시뮬레이션 시간과 함수 평가 수에 대한 날카운 이론적 경계를 유도하는 것.
• 이전의 샘플 복잡도 결과를 향상시켜, 다항식 또는 역거듭제곱 의존성 대신 log(1/ϵ) 스케일링을 보여주는 것.

제안 방법

• 비볼록 최적화 경관을 분석하기 위해 LQR 문제의 볼록 재매개변수화를 사용한다.
• 일반 미분방정식(ODE)을 통해 경사 유도 동역학을 분석하고 안정화 피드백 이득 상에서 지수 안정성을 증명한다.
• 적절한 스텝 사이즈를 갖는 경사 하강법의 수렴 보장을 유도하기 위해 전진 오일러 이산화를 적용한다.
• 진짜 시스템 모델에 접근할 수 없을 경우 경사의 근사치를 얻기 위해 랜덤 서치 프레임워크에서 이중점 경사 추정을 활용한다.
• Polyak–Łojasiewicz 부등식과 리아푸노프 분석을 활용하여 선형 수렴 속도를 확립한다.
• 헤시안 유사 구조의 조건 수를 제어하기 위해 역 리아푸노프 연산자 노름의 경계를 도출한다.

실험 결과

연구 질문

• RQ1 모델 프리 LQR 문제에서 안정화 피드백 이득에 대한 경사 유도 동역학은 지수 수렴을 보이는가?
• RQ2 고정 스텝 사이즈를 갖는 경사 하강법은 모델 프리 연속시간 LQR 설정에서 선형 수렴을 달성할 수 있는가?
• RQ3 모델 프리 LQR 문제에서 이중점 경사 추정을 사용한 랜덤 서치의 샘플 복잡도는 무엇인가?
• RQ4 정확한 경사 계산이 없는 조건에서 필요한 시뮬레이션 시간은 목표 정확도 ϵ에 따라 어떻게 스케일링되는가?
• RQ5 함수 평가 총 수를 ϵ에 대한 다항식 또는 역거듭제곱 의존성 이하로 줄일 수 있는가?

주요 결과

• 안정화 피드백 이득에 대한 경사 유도 동역학은 지수 안정성을 보이며, 최적의 제어기로의 전역 수렴을 보장한다.
• 적절한 스텝 사이즈를 갖는 경사 하강법은 최적의 피드백 이득으로 선형으로 수렴하며, 수렴 속도는 시스템 파라미터와 헤시안 유사 구조의 조건 수에 따라 달라진다.
• 이중점 경사 추정을 사용한 랜덤 서치 방법의 경우, ϵ-정확도를 달성하기 위해 필요한 시뮬레이션 시간과 총 함수 평가 수 모두 O(log(1/ϵ)) 비례로 증가한다.
• 샘플 복잡도는 이전의 연구에 비해 크게 향상되었으며, 다양한 가정 하에 O(1/ϵ⁴ log(1/ϵ)) 또는 O(1/ϵ²) 평가가 필요로 했던 데 비해, 본 연구에서는 O(log(1/ϵ))으로 개선되었다.
• 리아푸노프 비용의 하위레벨 집합 전역에서 역 리아푸노프 연산자 노름이 균일하게 유계이므로, 전역 수렴 보장을 도출할 수 있다.
• 결과는 목표 값 오차뿐 아니라 피드백 이득 행렬의 오차에 대해서도 성립하여, 매개변수 공간에서의 강력한 수렴성을 확인한다.