[논문 리뷰] Towards Understanding Asynchronous Advantage Actor-critic: Convergence and Linear Speedup

Han Shen, Kaiqing Zhang외 2명|arXiv (Cornell University)|2020. 12. 31.

Electric Power System Optimization인용 수 6

한 줄 요약

이 논문은 비점근적 수렴 분석을 통해 비동기적 보상 액터-크리틱(A3C) 알고리즘의 첫 번째 분석을 제공하며, i.i.d. 및 마르코프 샘플링 하에서 국소 수렴을 확립하고, 소프트맥스 정책 파rameterization 하에서 전역 수렴을 보장한다. 연구는 A3C가 N명의 워커와 함께 선형 속도 향상을 달성함을 증명하며, 샘플 복잡도를 $\mathcal{O}(\epsilon^{-2.5}/N)$로 도출한다. 이는 딥 강화 학습에서 병렬 처리와 비동기성의 이론적 이점을 정당화한다.

ABSTRACT

Asynchronous and parallel implementation of standard reinforcement learning (RL) algorithms is a key enabler of the tremendous success of modern RL. Among many asynchronous RL algorithms, arguably the most popular and effective one is the asynchronous advantage actor-critic (A3C) algorithm. Although A3C is becoming the workhorse of RL, its theoretical properties are still not well-understood, including its non-asymptotic analysis and the performance gain of parallelism (a.k.a. linear speedup). This paper revisits the A3C algorithm and establishes its non-asymptotic convergence guarantees. Under both i.i.d. and Markovian sampling, we establish the local convergence guarantee for A3C in the general policy approximation case and the global convergence guarantee in softmax policy parameterization. Under i.i.d. sampling, A3C obtains sample complexity of $\mathcal{O}(ε^{-2.5}/N)$ per worker to achieve $ε$ accuracy, where $N$ is the number of workers. Compared to the best-known sample complexity of $\mathcal{O}(ε^{-2.5})$ for two-timescale AC, A3C achieves \emph{linear speedup}, which justifies the advantage of parallelism and asynchrony in AC algorithms theoretically for the first time. Numerical tests on synthetic environment, OpenAI Gym environments and Atari games have been provided to verify our theoretical analysis.

연구 동기 및 목표

• A3C의 수렴 및 병렬 처리에서의 성능 향상에 대한 이론적 이해의 격차를 해소하기 위해.
• 일반 정책 근사 및 소프트맥스 파rameterization 하에서 A3C의 비점근적 수렴 보장을 위한 것이다.
• 샘플 복잡도 분석을 통해 A3C에서 관찰된 경험적 선형 속도 향상의 이론적 근거를 제공하기 위해.

제안 방법

• 리아프노프 분석 및 드리프트 조건을 사용하여 i.i.d. 및 마르코프 샘플링 하에서 국소 수렴을 유도한다.
• 액터와 크리틱 업데이트를 분리하기 위해 이중 시간 척도 프레임워크를 활용하여 안정성을 확보한다.
• 마르코프 체인 혼합 한계를 사용하여 비동기 워커 간 시간 차이 오차 전파를 새로운 방식으로 분석한다.
• 지연된 업데이트에 대한 기대 정책 기울기 오차를 제한하기 위해 텔레스코픽 합 기법을 사용한다.
• 전체 변화 거리와 기하학적 에르고디시티를 적용하여 비동기 업데이트에서 오래된 기울기로 인한 편향을 제어한다.
• 수렴 속도를 워커 수 N과 목표 정확도 ϵ과 연결함으로써 샘플 복잡도 한계를 설정한다.

실험 결과

연구 질문

• RQ1 A3C는 어떤 조건에서 수렴하며, 전역 최적해로 수렴하는가?
• RQ2 i.i.d. 및 마르코프 샘플링 하에서 A3C의 비점근적 수렴 속도는 무엇인가?
• RQ3 A3C는 샘플 복잡도 측면에서 N개의 병렬 워커와 함께 선형 속도 향상을 달성할 수 있는가?
• RQ4 비동기 업데이트 메커니즘이 수렴 안정성과 편향에 어떤 영향을 미치는가?
• RQ5 A3C가 학습 시간을 줄이는 데 있어 경험적으로 성공한 이유에 대한 이론적 근거는 무엇인가?

주요 결과

• 일반 정책 근사 하에서 A3C는 i.i.d. 및 마르코프 샘플링 모두에서 국소 수렴을 달성한다.
• 소프트맥스 정책 파arameterization 하에서 A3C는 전역 수렴이 보장된다.
• i.i.d. 샘플링 하에서 A3C는 $\mathcal{O}(\epsilon^{-2.5}/N)$의 샘플 복잡도를 확보하여 $\epsilon$-정확도에 도달한다.
• 이 샘플 복잡도는 이중 시간 척도 AC 알고리즘에서 알려진 최고의 비율과 일치하며, N명의 워커와 함께 선형 속도 향상을 보여준다.
• 이론적 분석은 A3C에서 병렬 처리와 비동기성의 조합이 증명 가능한 계산적 이점을 제공함을 확인한다.
• 합성 환경, OpenAI Gym, Atari 환경에서의 수치 실험을 통해 이론적 수렴 및 속도 향상 주장이 검증된다.