[논문 리뷰] Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory

Yufeng Zhang, Qi Cai외 3명|arXiv (Cornell University)|2020. 06. 08.

Reinforcement Learning in Robotics참고 문헌 71인용 수 5

한 줄 요약

이 논문은 시간차분(TD) 및 Q-학습에 사용되는 과잉파rameter화된 두 층의 신경망이 평균제곱투영벨만에러(MSPBE)를 하위선형 속도로 전역적으로 최소화할 수 있음을 입증한다. 이와 동시에 데이터에 의존하는 최적의 특징 표현을 학습한다. 워샤프스키 공간에서의 평균장 분석을 통해 특징 표현이 초기화 상태에서 전역 최적점으로 진화함을 증명하였으며, 이는 표현이 고정되어 있는 신경망의 접선 커널(NTK) 영역을 넘어서는 분석을 가능하게 한다.

ABSTRACT

Temporal-difference and Q-learning play a key role in deep reinforcement learning, where they are empowered by expressive nonlinear function approximators such as neural networks. At the core of their empirical successes is the learned feature representation, which embeds rich observations, e.g., images and texts, into the latent space that encodes semantic structures. Meanwhile, the evolution of such a feature representation is crucial to the convergence of temporal-difference and Q-learning. In particular, temporal-difference learning converges when the function approximator is linear in a feature representation, which is fixed throughout learning, and possibly diverges otherwise. We aim to answer the following questions: When the function approximator is a neural network, how does the associated feature representation evolve? If it converges, does it converge to the optimal one? We prove that, utilizing an overparameterized two-layer neural network, temporal-difference and Q-learning globally minimize the mean-squared projected Bellman error at a sublinear rate. Moreover, the associated feature representation converges to the optimal one, generalizing the previous analysis of Cai et al. (2019) in the neural tangent kernel regime, where the associated feature representation stabilizes at the initial one. The key to our analysis is a mean-field perspective, which connects the evolution of a finite-dimensional parameter to its limiting counterpart over an infinite-dimensional Wasserstein space. Our analysis generalizes to soft Q-learning, which is further connected to policy gradient.

연구 동기 및 목표

• 과잉파arameter화된 두 층의 신경망을 사용할 때 TD 및 Q-학습에서 특징 표현이 어떻게 진화하는지 이해하는 것.
• 특히 신경망의 접선 커널(NTK) 영역을 초월하여 이러한 학습이 전역으로 수렴하고 최적의 해에 도달하는지 여부를 규명하는 것.
• 비선형 함수 근사에서 유도된 특징 표현의 수렴 속도와 최적성 분석하기.
• 부드러운 Q-학습으로의 분석 확장 및 정책 기반 강화 학습 방법과의 연결 고리 분석하기.
• 유한 폭의 신경망의 진동을 워샤프스키 공간 상의 흐름으로 모델링하는 평균장 프레임워크 개발하기.

제안 방법

• 논문은 무한 폭 근사에서 파aram터가 경험적 분포로 모델링되며, 이는 인구 분포로 수렴하는 평균장 관점을 활용한다.
• 학습 알고리즘의 동역학에서 유도된 연속성 방정식을 통해 인구 분포의 진화를 워샤프스키 공간에서 기술한다.
• 인구 분포의 진화를 분석하기 위해 일반화된 한점 단조성의 개념을 도입한다.
• 워샤프스키 공간에서의 첫 번째 변동 공식을 활용하여 특징 표현의 수렴을 정량화한다.
• 유한 폭과 무한 폭의 동역학 간의 이탈을 유계하는 데 농도 불등식(예: 보조정리 B.8 및 B.9)을 사용한다.
• 프레임워크는 부드러운 Q-학습으로 확장되며, 이는 부드러운 Q-학습의 동역학과의 동치성으로 정책 기반 강화 학습과 연결된다.

실험 결과

연구 질문

• RQ1 과잉파arameter화된 두 층의 신경망을 사용한 TD 및 Q-학습이 평균제곱투영벨만에러(MSPBE)를 전역적으로 최소화할 수 있는가?
• RQ2 이러한 네트워크에 의해 유도된 특징 표현이 초기화 상태에서 전역 최적 표현으로 진화하는가, 아니면 NTK 영역에서처럼 고정되어 있는가?
• RQ3 이 평균장 프레임워크 하에서 TD 및 Q-학습의 수렴 속도는 어떠한가?
• RQ4 워샤프스키 공간에서의 평균장 분석은 비선형 함수 근사에서 표현 학습을 어떻게 가능하게 하는가?
• RQ5 이 분석은 부드러운 Q-학습 및 정책 기반 강화 학습과의 연결 고리로 확장될 수 있는가?

주요 결과

• 과잉파arameter화된 두 층의 신경망을 사용한 TD 및 Q-학습은 특징 표현이 초기화 상태에서 진화함에도 불구하고 MSPBE를 하위선형 속도로 전역적으로 최소화한다.
• 유도된 특징 표현은 전역 최적 표현으로 수렴하며, 표현이 초기화 상태에서 고정되어 있는 이전의 NTK 기반 결과를 일반화한다.
• 평균장 분석은 인구 분포가 워샤프스키 공간에서 연속성 방정식을 통해 진화함을 입증하여, 유한 폭의 네트워크 수렴 분석을 가능하게 한다.
• 일반화된 한점 단조성 조건은 PDE 해의 수렴을 보장하며, 이는 이산화를 통해 유한 폭 네트워크의 특징 표현 진화를 정량화한다.
• 프레임워크는 부드러운 Q-학습으로 확장되며, 이는 MSPBE를 전역적으로 최소화하고 부드러운 Q-학습의 동역학과의 동치성으로 정책 기반 강화 학습과 연결됨을 보여준다.
• 이 분석은 표현이 초기화 상태에서 멀리 떨어져 있을 수 있는 NTK 영역을 초월한 딥 강화 학습의 표현 학습에 대한 이론적 기반을 제공한다.