[논문 리뷰] Temporal-difference learning for nonlinear value function approximation in the lazy training regime.

Andréa Agazzi, Jianfeng Lu|arXiv (Cornell University)|2019. 09. 25.

Neural Networks and Applications참고 문헌 27인용 수 6

한 줄 요약

이 논문은 모델 파라미터가 최적화 중에 거의 변화하지 않는 라지 트레이닝 제도에서, 무한할행 할인 마코프 결정 과정(MDP)에서 시간차(TD) 학습을 사용한 비선형 가치 함수 근사에 대해 연구한다. 이 제도에서 과소 및 과소화된 설정 모두에서 국소 또는 전역 최소화점으로의 지수 수렴을 증명하며, 비선형 함수 근사가 실패하는 모델과 신경망에 대한 적용을 포함한다.

ABSTRACT

We discuss the approximation of the value function for infinite-horizon discounted Markov Decision Processes (MDP) with nonlinear functions trained with Temporal-Difference (TD) learning algorithm. We consider this problem under a certain scaling of the approximating function, leading to a regime called lazy training. In this regime the parameters of the model vary only slightly during the learning process, a feature that has recently been observed in the training of neural networks, where the scaling we study arises naturally, implicit in the initialization of their parameters. Both in the under- and over-parametrized frameworks, we prove exponential convergence to local, respectively global minimizers of the above algorithm in the lazy training regime. We then give examples of such convergence results in the case of models that diverge if trained with non-lazy TD learning, and in the case of neural networks.

연구 동기 및 목표

• 무한할행 할인 MDP에서 라지 트레이닝 제도 하에서 TD 학습을 사용한 비선형 가치 함수 근사 분석.
• 학습 중 모델 파라미터가 거의 변화하지 않을 때 TD 학습의 수렴 보장을 수립.
• 과소 및 과소화된 설정 모두에서 국소 또는 전역 최소화점으로의 지수 수렴을 입증.
• 비라지 TD 학습에서 발산하는 일부 모델이 라지 트레이닝 제도에서는 수렴하는 이유에 대한 이론적 근거 제공.
• 실제 딥 강화 학습 트레이닝과 비선형 함수 근사 이론적 수렴 간 격차를 메우기

제안 방법

• 특정 스케일링을 통해 라지 트레이닝 제도를 유도하는 비선형 함수 근사기에서 TD 학습 분석.
• 과소 및 과소화된 모델 모두에 라지 트레이닝 제도 적용하여 학습 중 파라미터 변화를 최소화.
• 이론적 분석을 통해 과소화된 경우 국소 최소화점으로의 지수 수렴, 과소화된 경우 전역 최소화점으로의 지수 수렴을 증명.
• 라지 스케일링 하에서 손실 표면의 기하학적 특성에 기반한 수렴 속도 유도.
• 표준 TD 학습에서 발산하는 신경망 및 모델에 이 프레임워크 적용.
• 모델 초기화로부터 암묵적 스케일링을 활용하여 자연스럽게 라지 트레이닝 제도 유도

실험 결과

연구 질문

• RQ1 비선형 함수 근사와 함께 TD 학습이 라지 트레이닝 제도에서 지수 수렴을 달성할 수 있는가?
• RQ2 라지 트레이닝 제도는 과소 및 과소화된 모델의 수렴에 어떤 영향을 미치는가?
• RQ3 라지 트레이닝 제도 하에서 MDP의 가치 함수 근사에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 왜 일부 모델은 비라지 TD 학습에서는 발산하지만 라지 제도에서는 수렴하는가?
• RQ5 실제로 신경망 초기화로부터 라지 제도가 어떻게 자연스럽게 유도되는가?

주요 결과

• 과소화된 라지 트레이닝 제도에서 국소 최소화점으로의 지수 수렴이 입증됨.
• 과소화된 라지 트레이닝 제도에서 전역 최소화점으로의 지수 수렴이 확립됨.
• 라지 트레이닝 제도는 표준 TD 학습에서 발산하는 모델의 수렴을 가능하게 함.
• 라지 제도에서 훈련된 신경망은 작은 파라미터 업데이트로 인해 안정적인 수렴를 보임.
• 이론적 프레임워크는 표준 신경망 초기화로부터 자연스럽게 유도되며, 이론과 실천을 연결함.
• 결과는 라지 트레이닝이 딥 강화 학습에서 성공한 이유에 대한 이론적 기초 제공