[논문 리뷰] Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy

Zuyue Fu, Zhuoran Yang외 1명|arXiv (Cornell University)|2020. 08. 02.

Reinforcement Learning in Robotics참고 문헌 80인용 수 16

한 줄 요약

이 논문은 선형 및 딥 네ural 네트워크 함수 근사가 함께 적용되는 단일 시간스케일 액터-크리틱 강화학습에 대해 처음으로 전역 수렴성 및 전역 최적성 보장을 확립한다. 실용적인 동시에 업데이트 설정에서, 이중 계층 또는 이중 시간스케일 가정 없이도 액터 수열이 전역 최적 정책으로 수렴하며, 수렴 속도는 반선형 $O(K^{-1/2})$ 이다. 여기서 $K$는 반복 횟수이다.

ABSTRACT

We study the global convergence and global optimality of actor-critic, one of the most popular families of reinforcement learning algorithms. While most existing works on actor-critic employ bi-level or two-timescale updates, we focus on the more practical single-timescale setting, where the actor and critic are updated simultaneously. Specifically, in each iteration, the critic update is obtained by applying the Bellman evaluation operator only once while the actor is updated in the policy gradient direction computed using the critic. Moreover, we consider two function approximation settings where both the actor and critic are represented by linear or deep neural networks. For both cases, we prove that the actor sequence converges to a globally optimal policy at a sublinear $O(K^{-1/2})$ rate, where $K$ is the number of iterations. To the best of our knowledge, we establish the rate of convergence and global optimality of single-timescale actor-critic with linear function approximation for the first time. Moreover, under the broader scope of policy optimization with nonlinear function approximation, we prove that actor-critic with deep neural network finds the globally optimal policy at a sublinear rate for the first time.

연구 동기 및 목표

• 실제로 사용되는 단일 시간스케일 액터-크리틱 알고리즘과 그 수렴 보장 간의 이론적 격차를 메우기 위해.
• 단일 시간스케일 설정에서 선형 함수 근사가 적용되는 액터-크리틱에 대해 전역 수렴성 및 전역 최적성을 확립하기 위해.
• 딥 네럴 네트워크를 사용하는 액터-크리틱에 대해 단일 시간스케일 업데이트 하에서 전역 최적성과 반선형 수렴성을 증명하기 위해.
• 이중 계층 또는 이중 시간스케일 가정에 의존하지 않고 단일 시간스케일 액터-크리틱의 수렴성을 분석하기 위해.
• PPO와 SAC와 같이 단일 시간스케일 환경에서 작동하는 널리 사용되는 딥 강화학습 알고리즘들에 대한 이론적 기반을 제공하기 위해.

제안 방법

• 알고리즘은 각 반복마다 한 번의 벨먼 평가 연산자를 적용하여 크리틱을 업데이트하는 동시에, 액터와 크리틱을 동시에 업데이트하는 단일 시간스케일 설정을 사용한다.
• 액터는 현재의 크리틱 추정치를 기반으로 정책 그래디언트 방향으로 업데이트되며, PPO 스타일 업데이트를 따르는 방식이다.
• 크리틱은 선형 또는 딥 네럴 네트워크로 표현되며, 액터는 신경망으로 파arameterized된 에너지 기반 정책을 사용한다.
• 분석은 새로운 리아푸노프 함수를 활용하며, 코시-슈바르츠 부등식과 가정 C.1을 통한 밀도 비율 제어를 통해 오차 한계를 설정한다.
• 정책 그래디언트 오차를 제한하고 액터 수열이 전역 최적 정책에 수렴함을 보여줌으로써 수렴성을 증명한다.
• 진짜 정책 그래디언트와 추정된 그래디언트 사이의 격차를 제어하기 위해 $ au_{k+1}^{-1} ho_{k+1,f}$와 $eta_k^{-1} Q_{ heta_k}$를 포함하는 오차 항을 활용한다.

실험 결과

연구 질문

• RQ1 선형 함수 근사가 적용되는 단일 시간스케일 액터-크리틱이 전역 최적 정책으로 확실히 수렴하는가?
• RQ2 딥 네럴 네트워크 함수 근사가 적용되는 단일 시간스케일 액터-크리틱이 전역 최적성을 달성할 수 있는가?
• RQ3 선형 및 비선형 함수 근사 하에서 단일 시간스케일 액터-크리틱의 수렴 속도는 무엇인가?
• RQ4 이중 계층 또는 이중 시간스케일 가정 없이 전역 최적성이 어떻게 보장될 수 있는가?
• RQ5 실제로 사용되는 딥 강화학습 알고리즘들이 동시에 업데이트를 사용하는 경우, 액터-크리틱의 이론적 분석을 어떻게 확장할 수 있는가?

주요 결과

• 선형 및 딥 네럴 네트워크 함수 근사 설정 모두에서 액터 수열이 반선형 수렴 속도 $O(K^{-1/2})$ 로 전역 최적 정책으로 수렴한다.
• 이 연구는 선형 함수 근사가 적용되는 단일 시간스케일 액터-크리틱에 대해 전역 수렴성 및 전역 최적성을 처음으로 확립한 작업이다.
• 딥 네럴 네트워크 함수 근사에 대해서는 이 연구가 단일 시간스케일 설정에서 전역 최적성과 반선형 수렴성을 처음으로 증명한다.
• 무한 시간 크리틱 업데이트나 별도로 점점 줄어드는 액터 스텝 사이즈가 필요 없이 단일 시간스케일 업데이트 체계 하에서 수렴 속도가 유도된다.
• 밀도 비율 한계를 통한 정책 그래디언트 추정 오차 제어와 함께 새로운 리아푸노프 함수를 통해 수렴성을 확립한다.
• 결과는 PPO와 SAC와 같이 단일 시간스케일 환경에서 작동하는 실용적 액터-크리틱 알고리즘들의 이론적 타당성을 검증한다.