[논문 리뷰] Non-asymptotic Convergence Analysis of Two Time-scale (Natural) Actor-Critic Algorithms

Tengyu Xu, Zhe Wang외 1명|arXiv (Cornell University)|2020. 05. 07.

Reinforcement Learning in Robotics참고 문헌 48인용 수 34

한 줄 요약

이 논문은 Markovian 샘플링 하에서 두 시간 축 AC와 NAC에 대한 최초의 비점근적, 유한 샘플 수렴 속도를 제공하며, AC는 ε-정지점에 도달하고 NAC는 ε-전역 최적의 근처에서 도달한다.

ABSTRACT

As an important type of reinforcement learning algorithms, actor-critic (AC) and natural actor-critic (NAC) algorithms are often executed in two ways for finding optimal policies. In the first nested-loop design, actor's one update of policy is followed by an entire loop of critic's updates of the value function, and the finite-sample analysis of such AC and NAC algorithms have been recently well established. The second two time-scale design, in which actor and critic update simultaneously but with different learning rates, has much fewer tuning parameters than the nested-loop design and is hence substantially easier to implement. Although two time-scale AC and NAC have been shown to converge in the literature, the finite-sample convergence rate has not been established. In this paper, we provide the first such non-asymptotic convergence rate for two time-scale AC and NAC under Markovian sampling and with actor having general policy class approximation. We show that two time-scale AC requires the overall sample complexity at the order of $\mathcal{O}(ε^{-2.5}\log^3(ε^{-1}))$ to attain an $ε$-accurate stationary point, and two time-scale NAC requires the overall sample complexity at the order of $\mathcal{O}(ε^{-4}\log^2(ε^{-1}))$ to attain an $ε$-accurate global optimal point. We develop novel techniques for bounding the bias error of the actor due to dynamically changing Markovian sampling and for analyzing the convergence rate of the linear critic with dynamically changing base functions and transition kernel.

연구 동기 및 목표

• 실용적이고 튜닝하기 쉬운 대안으로 중첩 루프 설계보다 두 시간 스케일 AC/NAC를 연구하는 동기를 제시합니다.
• Markovian 샘플링 하에서 비점근적 수렴 속도(샘플 복잡도)를 특성화합니다.
• 크리틱 및 비선형 액터 업데이트에서 동적 Markovian 편향 및 기저 함수 변경을 다룹니다.
• AC가 ε-정지점에 도달하고 NAC가 ε-전역 최적의 근처의 수렴을 확립합니다.
• 동적으로 변화하는 샘플링 및 기저 함수의 편향을 분석하는 기법을 제공합니다.

제안 방법

• 빠른 크리틱과 느린 액터를 갖는 두 시간 스케일의 비선형 확률적 근사로 AC/NAC를 모델링합니다.
• 동적으로 변화하는 기저 함수와 전이 커널을 갖는 크리틱에 대해 선형 SA를 사용합니다.
• 정책 매개변수화를 가진 감소하는 스텝사이즈를 갖는 액터에 대해 비선형 SA를 적용합니다.
• 동적 Markovian 샘플링 및 기저 함수 변화에 대한 편향 및 드리프트 상한을 도출합니다.
• 크리틱 추적 오차 상한과 Lipschitz 기울기 특성을 증명하여 전체 속도를 얻습니다.
• 명시적 샘플 복잡도 얻기: AC O(ε^{-2.5} log^3(ε^{-1})) 및 NAC O(ε^{-4} log^2(ε^{-1})).

실험 결과

연구 질문

• RQ1 Markovian 샘플링 하에서 두 시간 스케일 AC/NAC에 대해 어떤 유한 샘플 수렴 속도를 확립할 수 있는가?
• RQ2 동적 Markovian 샘플링 및 변화하는 기저 함수가 편향과 수렴에 어떤 영향을 미치는가?
• RQ3 단일 샘플 업데이트 하에서 기존의 중첩 루프 설계보다 두 시간 스케일 AC/NAC가 더 나은 샘플 복잡도에 도달할 수 있는가?
• RQ4 ε 정확한 정지점(AC) 또는 ε-근접의 전역 최적(NAC)에 도달하기 위한 정확한 샘플 복잡도는?
• RQ5 비선형 정책 매개변수화가 두 시간 스케일 비선형 SA의 수렴 분석에 어떤 영향을 미치는가?

주요 결과

• 두 시간 스케일 AC는 ε-정지점에서 O(ε^{-2.5} log^3(ε^{-1}))의 샘플 복잡도에 도달합니다.
• 두 시간 스케일 NAC는 ε-전역 최적의 근처에서 O(ε^{-4} log^2(ε^{-1}))의 샘플 복잡도에 도달합니다.
• 동적으로 변화하는 Markovian 샘플링으로 인한 편향을 선형(크리틱) 및 비선형(액터) 업데이트에 대해 한정하기 위한 새로운 기법들이 도입됩니다.
• 크리틱 추적 오차는 스텝사이즈 매개변수(σ, ν)에 따라 감소하며, σ=1.5ν일 때 로그-테이퍼링 항이 포함됩니다.
• 두 시간 스케일 AC는 단일 샘플 중첩 루프 AC 대비 전체 샘플 복잡도에서 O(ε^{-0.5})의 계수로 우수하게 작동합니다.
• 두 시간 스케일 NAC는 샘플 복잡도에서 표준 중첩 루프 NAC의 성능과 로그로 인한 마코프 편향의 차이를 제외하고는 일치합니다.