[논문 리뷰] Neural Temporal-Difference and Q-Learning Provably Converge to Global Optima

Qi Cai, Zhuoran Yang외 2명|arXiv (Cornell University)|2019. 05. 24.

Reinforcement Learning in Robotics참고 문헌 75인용 수 15

한 줄 요약

이 논문은 신경망 시간차(TD) 및 Q-학습 알고리즘의 처음으로 비점근적 전역 수렴성을 증명한다. 평균제곱투영벨만에러(MSPBE)의 전역 최적해로의 수렴성을 입증한다. 과다매개변수화된 딥 신경망을 활용하여, 인구 반경기울기(population semigradients)를 사용할 경우 수렴 속도가 $1/T$이고, 확률적 반경기울기(stochastic semigradients)를 사용할 경우 $1/\big/\text{sqrt}{T}$로, 비볼록성과 표준 TD 학습에서의 발산 가능성을 고려하여도 증명 가능한 수렴을 가능하게 한다.

ABSTRACT

Temporal-difference learning (TD), coupled with neural networks, is among the most fundamental building blocks of deep reinforcement learning. However, due to the nonlinearity in value function approximation, such a coupling leads to nonconvexity and even divergence in optimization. As a result, the global convergence of neural TD remains unclear. In this paper, we prove for the first time that neural TD converges at a sublinear rate to the global optimum of the mean-squared projected Bellman error for policy evaluation. In particular, we show how such global convergence is enabled by the overparametrization of neural networks, which also plays a vital role in the empirical success of neural TD. Beyond policy evaluation, we establish the global convergence of neural (soft) Q-learning, which is further connected to that of policy gradient algorithms.

연구 동기 및 목표

• 신경망 TD 및 Q-학습의 경험적 성공을 엄밀히 정당화함으로써 딥 강화학습의 이론-실천 격차를 해소하기 위해.
• 비볼록성과 비선형 함수 근사에 의한 신경망 TD의 잠재적 발산이라는 장기적인 과제를 해결하기 위해.
• 신경망 TD 및 (소프트) Q-학습의 MSPBE 목적함수의 전역 최적해로의 비점근적 전역 수렴성을 확립하기 위해.
• 신경망 Q-학습을 정책 기반 강화학습 방법과 연결하기 위해, 정책 기반 강화학습 알고리즘의 변종에 대한 전역 수렴성을 입증하기 위해.
• 과다매개변수화가 암묵적 국소선형화를 가능하게 하여 학습을 안정화시키고 수렴을 보장함을 보여주기 위해.

제안 방법

• 과다매개변수화된 다층 신경망을 사용하여 최적화 경로 동안 가치 함수를 암묵적으로 선형화함으로써, 비선형 TD에서의 명시적 선형화를 모방함.
• 인구 반경기울기와 확률적 반경기울기를 사용하여 신경망 TD를 분석하고, MSPBE 목적함수의 전역 최적해로의 수렴을 증명함.
• 과다매개변수화된 네트워크에서 반경기울기의 일점 단조성(one-point monotonicity) 개념을 도입하여, 비볼록성 하에서도 수렴 분석이 가능하도록 함.
• 랜덤 특징 기반 근사와 농도 불등식을 활용하여 초기화에 의존하는 항을 유계화하고 선형화에서의 편차를 통제함.
• MSPBE의 투영이 랜덤 초기화 하에서 재생핵 힐버트 공간(reproducing kernel Hilbert space)과 동치인 풍부한 함수 표현 능력을 제공함을 입증함.
• (소프트) Q-학습과 정책 기반 강화학습 알고리즘 간의 연결을 활용하여, 정책 최적화로의 전역 수렴성을 확장함.

실험 결과

연구 질문

• RQ1 비볼록성과 편향된 기울기 존재에도 불구하고, 신경망 TD가 MSPBE 목적함수의 전역 최적해로 증명 가능한 수렴이 가능한가?
• RQ2 과다매개변수화가 신경망 TD의 안정성과 전역 수렴성에 어떤 역할을 하는가?
• RQ3 적절한 조건 하에서 신경망 (소프트) Q-학습이 MSPBE 최적해로 전역 수렴하는가?
• RQ4 신경망 Q-학습의 전역 수렴성은 정책 기반 강화학습 알고리즘과 연결될 수 있는가?
• RQ5 과다매개변수화에 의한 암묵적 국소선형화가 비선형 TD 학습에서의 발산을 어떻게 완화하는가?

주요 결과

• 인구 반경기울기를 사용할 경우, 신경망 TD는 MSPBE의 전역 최적해로 $1/T$의 수렴 속도로 전역 수렴한다.
• 확률적 반경기울기를 사용할 경우, 신경망 TD는 $1/\big/\text{sqrt}{T}$의 수렴 속도로 수렴함을 입증하여, 현실적인 온라인 학습 환경에서의 비점근적 수렴을 확립한다.
• 더 강한 정규성 조건 하에서, 신경망 (소프트) Q-학습은 신경망 TD와 동일한 속도로 MSPBE 최적해로 전역 수렴한다.
• 신경망 Q-학습의 전역 수렴성은 정책 기반 강화학습 알고리즘의 변종에 대한 전역 수렴성을 암시하며, 가치 기반과 정책 기반 딥 강화학습 방법 간의 연결을 제공한다.
• 과다매개변수화는 명시적 선형화 없이도 발산을 방지하고 수렴을 보장하는 암묵적 국소선형화를 가능하게 하며, 이는 비선형 TD에서의 발산 문제를 완화한다.
• 랜덤 초기화 하에서 신경망의 표현 능력은 재생핵 힐버트 공간과 동치이며, 이는 광범위한 강화학습 문제에 대해 MSPBE를 0으로 만들 수 있음을 의미한다.