[논문 리뷰] On the Analysis of Model-free Methods for the Linear Quadratic Regulator

Zeyu Jin, Johann Michael Schmitt외 1명|arXiv (Cornell University)|2020. 07. 08.

Reinforcement Learning in Robotics참고 문헌 22인용 수 5

한 줄 요약

이 논문은 모델 프리 강화학습 알고리즘—특히 정책 그래เดียน트, TD 학습, 액터-크리틱(AC)—에 대해 선형 제곱형 조절자(LQR) 설정에서 처음으로 전역 선형 수렴성과 표본 복잡도 분석을 제공한다. AC 알고리즘은 궤적 샘플링을 통한 가치 함수 근사와 그래디언트 추정을 활용하여 정책 그래디언트보다 더 낮은 표본 복잡도를 달성함을 입증한다.

ABSTRACT

Many reinforcement learning methods achieve great success in practice but lack theoretical foundation. In this paper, we study the convergence analysis on the problem of the Linear Quadratic Regulator (LQR). The global linear convergence properties and sample complexities are established for several popular algorithms such as the policy gradient algorithm, TD-learning and the actor-critic (AC) algorithm. Our results show that the actor-critic algorithm can reduce the sample complexity compared with the policy gradient algorithm. Although our analysis is still preliminary, it explains the benefit of AC algorithm in a certain sense.

연구 동기 및 목표

• 모델 프리 강화학습 알고리즘의 전역 선형 수렴성과 표본 복잡도 한계를 LQR 설정에서 확립하기.
• 초기 무작위 초기화가 아닌 일반적인 노이즈 조건 하에서 정책 그래디언트, TD 학습, 액터-크리틱(AC) 방법의 성능을 분석하기.
• 수렴을 위해 필요한 궤적 수에 관해 정책 그래디언트와 AC 알고리즘의 표본 효율성을 비교하기.
• 연속적이고 무한 시간 수렴 문제에서 정책 최적화와 가치 함수 추정을 통합한 분석을 제공하기.
• AC 방법의 경험적 성공을 정량화한 표본 복잡도 우월성으로 이론적 근거를 제시하기.

제안 방법

• LQR에서 정책 평가를 위해 선형 가치 함수 근사를 사용하는 TD 학습을 적용하여, LSTD에서 요구하는 선형 시스템의 해법이 필요 없도록 함.
• 궤적 샘플링을 통한 그래디언트 추정을 사용하는 정책 그래디언트 및 액터-크리틱 알고리즘을 적용하고, 정책 매개변수화를 통해 비용-지오 함수를 최적화함.
• 상태 궤적과 노이즈 항의 모멘트 한계를 활용하여 추정된 그래디언트의 분산에 대한 한계를 유도함.
• 할인 인자 γ가 1에 가까운 조건 하에서 비점근적 분석을 수행하여, log(γ) ≈ γ−1과 같은 근사가 가능하도록 함.
• 유한 표본 하에서 수렴을 보장하기 위해 AC 알고리즘의 그래디언트 노름을 제한하는 안정성 가정(가정 6.3)을 도입함.
• 표본 크기와 신뢰 수준에 비례하는 단계 크기 α를 사용하여 가치 함수 근사 오차 제어와 정책 반복 수렴을 통합함.

실험 결과

연구 질문

• RQ1 일반적인 노이즈 조건 하에서 LQR 설정에서 정책 그래디언트 방법의 전역 선형 수렴 속도는 무엇인가?
• RQ2 LQR에서 TD 학습의 표본 복잡도는 정책 그래디언트 및 액터-크리틱 방법과 비교해 어떻게 되는가?
• RQ3 액터-크리틱 알고리즘이 LQR에서 정책 그래디언트 방법보다 더 낮은 표본 복잡도를 달성할 수 있는가, 그리고 어떤 조건에서 가능한가?
• RQ4 가치 함수의 근사 오차는 LQR에서 정책 최적화의 수렴에 어떤 영향을 미치는가?
• RQ5 할인 인자 γ는 LQR에서 모델 프리 강화학습 알고리즘의 표본 복잡도와 수렴 속도에 어떤 역할을 하는가?

주요 결과

• 정책 그래디언트 방법은 일반적인 노이즈 조건 하에서 LQR 설정에서 전역 선형 수렴을 달성하며, 수렴 속도는 단계 크기와 초기 비용에 따라 달라진다.
• 액터-크리틱 알고리즘은 가치 함수 근사와 낮은 분산 그래디언트 추정을 활용하여 정책 그래디언트 방법보다 표본 복잡도를 감소시킴.
• AC 알고리즘의 경우 필요한 궤적 수는 O((1−γ)⁻²)이며, TD 학습의 표본 복잡도는 O((1−γ)⁻⁴)이므로 상당한 향상이 있음.
• AC 알고리즘의 반복 횟수 T는 O(1/(δε(1−γ)))이며, 동일한 오차 허용 오차 ε와 신뢰 수준 δ 하에서 정책 그래디언트보다 훨씬 작음.
• AC 알고리즘에서 L 개의 궤적을 동시에 샘플링함으로써 표본 크기 L을 줄일 수 있으며, 이는 그래디언트 분산을 O((1−γ)⁻¹)로 감소시켜 수렴 속도를 향상시킴.
• 분석 결과 정책 그래디언트는 정책 매개변수에 대한 누적 비용의 그래디언트와 동일하며, 이는 최적화에서의 사용에 대한 타당성을 입증함.