[논문 리뷰] Neural Temporal-Difference Learning Converges to Global Optima

Qi Cai, Zhuoran Yang외 2명|arXiv (Cornell University)|2019. 01. 01.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

이 논문은 정책 평가를 위한 평균제곱프로젝션벨만에러(MSPBE)의 전역 최적해로의 신경망 시간차(TD) 학습의 첫 번째 전역 수렴을 증명하며, 하향 수렴 속도를 확립한다. 이 결과는 신경망의 과다매개변수화에 기반하며, 비볼록성에도 불구하고 안정적인 최적화를 가능하게 하고, 신경망(소프트) Q-학습 및 정책 그래เดียน트 방법으로까지 확장된다.

ABSTRACT

Temporal-difference learning (TD), coupled with neural networks, is among the most fundamental building blocks of deep reinforcement learning. However, due to the nonlinearity in value function approximation, such a coupling leads to nonconvexity and even divergence in optimization. As a result, the global convergence of neural TD remains unclear. In this paper, we prove for the first time that neural TD converges at a sublinear rate to the global optimum of the mean-squared projected Bellman error for policy evaluation. In particular, we show how such global convergence is enabled by the overparametrization of neural networks, which also plays a vital role in the empirical success of neural TD. Beyond policy evaluation, we establish the global convergence of neural (soft) Q-learning, which is further connected to that of policy gradient algorithms.

연구 동기 및 목표

• 비볼록성으로 인한 값 함수 근사에서 신경망 TD 학습의 전역 수렴 문제에 대한 오랜 동안 미해결된 문제를 해결하기 위해.
• 과다매개변수화 하에서 신경망 TD의 정책 평가에 대한 이론적 보장을 수립하기 위해.
• 수렴 분석을 신경망(소프트) Q-학습으로 확장하고 정책 그래디언트 알고리즘과 연결하기 위해.
• 신경망 TD의 경험적 성공을 설명하기 위해 과다매개변수화가 안정적인 최적화를 가능하게 하는 역할을 설명하기 위해.

제안 방법

• 값 함수를 모델링하기 위해 과다매개변수화된 이중층 ReLU 신경망을 사용하여 신경망 TD 학습을 분석한다.
• 부분선형 수렴 속도를 통해 평균제곱프로젝션벨만에러(MSPBE)의 전역 최적해로의 수렴을 확립한다.
• 학습 중 신경망 가중치의 동역학을 추적하는 궤적 기반 최적화 프레임워크를 활용한다.
• 신경망의 함수 공간이 진정한 값 함수를 충분한 표현력으로 근사할 수 있도록 과다매개변수화를 활용한다.
• 비볼록 최적화 및 신경직선핵(NTK) 이론 기법을 사용하여 수렴 경계를 유도한다.
• 분석을 (소프트) Q-학습으로 확장하고, 정책 그래디언트 목표와 연결하여 전역 수렴을 보여준다.

실험 결과

연구 질문

• RQ1 비볼록성에도 불구하고 신경망 TD 학습은 최적의 값 함수로 전역적으로 수렴하는가?
• RQ2 과다매개변수화는 신경망 TD의 전역 수렴을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 수렴 보장은 정책 평가에서 (소프트) Q-학습으로까지 확장될 수 있는가?
• RQ4 신경망 TD의 전역 수렴은 정책 그래디언트 방법과 어떻게 관련이 있는가?

주요 결과

• 신경망 TD 학습은 평균제곱프로젝션벨만에러(MSPBE)의 전역 최적해로 부분선형 수렴 속도를 통해 전역적으로 수렴한다.
• 과다매개변수화는 최적화의 안정성으로 이어지는 수렴의 전역성 확보에 필수적이다.
• 수렴 속도는 부분선형이며, 과다매개변수화된 모델의 비볼록 최적화 이론적 기대와 일치한다.
• 분석은 신경망(소프트) Q-학습으로까지 확장되어 동일한 조건 하에서의 전역 수렴을 확립한다.
• 신경망 TD의 수렴은 정책 그래디언트 알고리즘과 이론적으로 연결되어 있으며, 공통된 최적화 역학을 공유함을 시사한다.