[논문 리뷰] Asynchronous Advantage Actor Critic: Non-asymptotic Analysis and Linear Speedup

Han Shen, Kaiqing Zhang외 2명|arXiv (Cornell University)|2021. 05. 04.

Reinforcement Learning in Robotics참고 문헌 42인용 수 6

한 줄 요약

이 논문은 선형 가치 함수 근사와 함께 A3C-TD(0) 알고리즘에 대한 최초의 비점근 수렴 분석을 제공하며, i.i.d. 샘플링 하에서 샘플 복잡도가 O(ϵ⁻².⁵/N)로 선형 속도 향상(각 워커당)을 달성함을 증명한다. 이는 비순차적 및 비동기적 액터-크리틱 강화 학습에서 병렬 처리의 이론적 우월성을 정당화한다.

ABSTRACT

Asynchronous and parallel implementation of standard reinforcement learning (RL) algorithms is a key enabler of the tremendous success of modern RL. Among many asynchronous RL algorithms, arguably the most popular and effective one is the asynchronous advantage actor-critic (A3C) algorithm. Although A3C is becoming the workhorse of RL, its theoretical properties are still not well-understood, including the non-asymptotic analysis and the performance gain of parallelism (a.k.a. speedup). This paper revisits the A3C algorithm with TD(0) for the critic update, termed A3C-TD(0), with provable convergence guarantees. With linear value function approximation for the TD update, the convergence of A3C-TD(0) is established under both i.i.d. and Markovian sampling. Under i.i.d. sampling, A3C-TD(0) obtains sample complexity of O(ϵ−2.5/N) per worker to achieve ϵ accuracy, where N is the number of workers. Compared to the best-known sample complexity of O(ϵ−2.5) for two-timescale AC, A3C-TD(0) achieves \emph{linear speedup}, which justifies the advantage of parallelism and asynchrony in AC algorithms theoretically for the first time. Numerical tests on synthetically generated instances and OpenAI Gym environments have been provided to verify our theoretical analysis.

연구 동기 및 목표

• 액터-크리틱 강화 학습에서 TD(0)를 사용한 A3C 알고리즘의 비점근 수렴 분석을 제공하는 것.
• 비동기적 액터-크리틱 방법에서 병렬 처리의 성능 향상에 대한 이론적 보장을 수립하는 것.
• i.i.d. 및 마르코프 샘플링 가정 하에서 A3C-TD(0)의 샘플 복잡도를 분석하는 것.
• 합성 및 OpenAI Gym 환경에서의 수치 실험을 통해 이론적 결과를 검증하는 것.

제안 방법

• 저자들은 TD(0)를 가치 함수 업데이트에 사용하는 비동기적 이점 액터-크리틱 알고리즘인 A3C-TD(0)를 분석한다.
• 비교적 분석이 용이한 선형 가치 함수 근사를 크리틱에 적용하여 이론적 분석을 가능하게 한다.
• 스토하스틱 근사 이론을 활용해 i.i.d. 및 마르코프 샘플링 가정 하에서 수렴성을 증명한다.
• i.i.d. 샘플링 하에서 ϵ-정확도를 달성하기 위한 각 워커당 샘플 복잡도가 O(ϵ⁻².⁵/N)임을 이론적으로 유도한다.
• A3C-TD(0)를 두 시간스케일 액터-크리틱과 비교하여 속도 향상 분석을 수행하며, 워커 수에 따라 선형 스케일링을 보임을 보여준다.
• 합성 인스턴스와 OpenAI Gym 환경에서의 수치 실험을 통해 이론적 예측의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 A3C-TD(0)는 i.i.d. 샘플링 하에서 비점근 보장을 갖는 수렴성을 달성하는가?
• RQ2 A3C-TD(0)의 샘플 복잡도는 정확도 ϵ과 워커 수 N에 대해 어떻게 표현되는가?
• RQ3 A3C-TD(0)는 중심화된 두 시간스케일 액터-크리틱 방법과 비교해 선형 속도 향상을 보이는가?
• RQ4 i.i.d. 샘플링과 마르코프 샘플링 간의 성능 차이는 어떻게 되는가?
• RQ5 이론적 샘플 복잡도는 통제된 환경과 실제 환경 모두에서 경험적으로 검증될 수 있는가?

주요 결과

• A3C-TD(0)는 i.i.d. 샘플링 하에서 ϵ-정확도를 달성하기 위해 각 워커당 O(ϵ⁻².⁵/N)의 샘플 복잡도를 갖는다.
• 이 샘플 복잡도는 워커 수 N에 반비례하므로 선형 속도 향상임을 보여준다.
• 선형 속도 향상 결과는 이론적으로 비동기적 액터-크리틱 알고리즘에서 병렬 처리의 성능 우월성을 처음으로 정당화한다.
• 수렴 보장은 i.i.d. 및 마르코프 샘플링 모두에서 성립하므로 분석의 적용 범위가 넓어진다.
• 합성 환경과 OpenAI Gym 환경에서의 수치 결과는 샘플 효율성과 속도 향상에 대한 이론적 예측을 확인한다.