[논문 리뷰] Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy

Boyi Liu, Qi Cai외 2명|arXiv (Cornell University)|2019. 06. 25.

Reinforcement Learning in Robotics참고 문헌 53인용 수 17

한 줄 요약

이 논문은 오버파라미터라이즈드 두 층의 신경망을 사용하는 Proximal Policy Optimization (PPO) 및 Trust Region Policy Optimization (TRPO)의 변종에 대해 최초로 비점점근(global) 수렴 속도를 확립한다. 무한차원 미러 디센트를 한점 단조성(one-point monotonicity) 하에서 모델링하고 오버파라미터라이즈드 네트워크의 최적화 기하학을 활용하여, 저자들은 PPO가 반복 횟수 $K$에 대해 $O(1/\sqrt{K})$ 의 하위선형 속도로 전역 최적 정책으로 수렴함을 증명한다. 정책 평가 및 정책 개선 서브루틴에 대한 비점점근 경계를 제공한다.

ABSTRACT

Proximal policy optimization and trust region policy optimization (PPO and TRPO) with actor and critic parametrized by neural networks achieve significant empirical success in deep reinforcement learning. However, due to nonconvexity, the global convergence of PPO and TRPO remains less understood, which separates theory from practice. In this paper, we prove that a variant of PPO and TRPO equipped with overparametrized neural networks converges to the globally optimal policy at a sublinear rate. The key to our analysis is the global convergence of infinite-dimensional mirror descent under a notion of one-point monotonicity, where the gradient and iterate are instantiated by neural networks. In particular, the desirable representation power and optimization geometry induced by the overparametrization of such neural networks allow them to accurately approximate the infinite-dimensional gradient and iterate.

연구 동기 및 목표

• 신경망 파라미터화를 통한 PPO 및 TRPO의 전역 수렴 보장을 통해 딥 강화 학습의 이론-실천 격차를 메우기.
• 정책 공간의 비볼록성과 신경망 파라미터화로 인한 전역 수렴에 대한 이해 부족을 해결하기.
• 신경망 근사 하에서 PPO/TRPO의 정책 평가(TD 학습을 통한)와 정책 개선(SGD를 통한) 간의 상호작용 분석하기.
• 각 PPO 반복에서 $\epsilon$-정확도를 달성하기 위해 필요한 TD 및 SGD 반복 수에 대한 비점점근 경계 제공하기.
• 비평가 및 작동자 네트워크 모두에 대해 오버파라미터라이즈드 신경망에서 평균 제곱 벨먼 오차(MSBE)와 평균 제곱 오차(MSE)의 수렴 분석을 통합하기.

제안 방법

• 정확한 행동가치 함수를 이중 반복으로 간주하고 정책을 원시 반복으로 간주하여, 무한차원의 미러 디센트로 이상적 정책 업데이트를 수식화한다.
• 비볼록성에도 불구하고 최적 정책으로 향하는 수렴을 보장하기 위해 예상 수익의 한점 단조성을 도입한다.
• 비평가의 신경망 근사로 인해 발생하는 정책 평가 오차를 이중 오차로, 작동자에 의한 근사로 인해 발생하는 정책 개선 오차를 원시 오차로 모델링한다.
• 오버파라미터라이즈드 두 층의 ReLU 네트워크에서 MSBE(TD 학습용)와 MSE(SGD용)의 전역 수렴을 하위선형 속도로 확립한다.
• 오버파라미터라이제이션을 활용하여 정확한 근사를 보장하는 신경장핵 커널(NTK) 영역 하에서 TD와 SGD의 수렴 분석을 통합한다.
• 이중 오차와 원시 오차를 미러 디센트 프레임워크에 통합하여 신경망을 사용하는 PPO의 전역 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 신경망 파라미터화를 사용하는 PPO가 최적 정책으로 전역적으로 수렴하는가? 그리고 그 수렴 속도는 어떠한가?
• RQ2 각 PPO 반복에서 정책 평가의 $\epsilon$-정확도를 확보하기 위해 필요한 TD 반복 수는 몇 개인가?
• RQ3 각 PPO 반복 내에서 정책 개선의 $\epsilon$-정확도를 달성하기 위해 필요한 SGD 반복 수는 몇 개인가?
• RQ4 비볼록이고 무한차원적인 정책 최적화 문제는 한점 단조성 하에서 미러 디센트로 분석될 수 있는가?
• RQ5 오버파라미터라이즈드 신경망은 정책 평가 및 정책 개선 서브루틴의 전역 수렴을 가능하게 하는가?

주요 결과

• 오버파라미터라이즈드 두 층의 ReLU 신경망을 사용하는 제안된 PPO 변종은 반복 횟수 $K$에 대해 $O(1/\sqrt{K})$ 의 속도로 최적 정책으로 전역 수렴한다.
• 시간차 학습을 통한 정책 평가에서 $\epsilon$-정확도를 달성하기 위해 $O(1/\epsilon^2)$ 개의 TD 반복이 충분하다.
• 확률적 경량 하강법을 통한 정책 개선에서 $\epsilon$-정확도를 달성하기 위해 $O(1/\epsilon^2)$ 개의 SGD 반복이 충분하다.
• 오버파라미터라이즈드 네트워크의 표현력과 최적화 기하학 덕분에, 비평가용 MSBE와 작동자용 MSE의 수렴이 하위선형 속도로 전역적으로 보장된다.
• 분석 결과 정책 평가 및 정책 개선 오차가 반복을 거치며 누적되지만, 이들의 하위선형 수렴 덕분에 PPO의 전체적인 전역 수렴이 보장된다.
• 증명 프레임워크는 NTK 영역 하에서 TD와 SGD의 수렴을 통합하여 신경망 기반 정책 최적화에 대한 원리적인 분석을 제공한다.