[논문 리뷰] Loss Dynamics of Temporal Difference Reinforcement Learning

Blake Bordelon, Paul Masset외 2명|arXiv (Cornell University)|2023. 07. 10.

stochastic dynamics and bifurcation인용 수 4

한 줄 요약

이 논문은 선형 함수 근사와 함께 시간 차분(TD) 강화학습의 학습 동역학을 분석하기 위해 통계역학 기반 이론을 개발한다. 특징 경로를 시간에 따라 상관된 가우시안으로 모델링함으로써, 학습률, 할인 인자, 보상 형상화가 수렴 속도와 플레이오프 깊이에 미치는 영향을 보여주며, 확률적 반경사 노이즈로 인해 발생하는 가치 오차의 플레이오프 형성 원리를 예측한다. 이는 실무에서 메타파rameter 최적화를 위한 프레임워크를 제공한다.

ABSTRACT

Reinforcement learning has been successful across several applications in which agents have to learn to act in environments with sparse feedback. However, despite this empirical success there is still a lack of theoretical understanding of how the parameters of reinforcement learning models and the features used to represent states interact to control the dynamics of learning. In this work, we use concepts from statistical physics, to study the typical case learning curves for temporal difference learning of a value function with linear function approximators. Our theory is derived under a Gaussian equivalence hypothesis where averages over the random trajectories are replaced with temporally correlated Gaussian feature averages and we validate our assumptions on small scale Markov Decision Processes. We find that the stochastic semi-gradient noise due to subsampling the space of possible episodes leads to significant plateaus in the value error, unlike in traditional gradient descent dynamics. We study how learning dynamics and plateaus depend on feature structure, learning rate, discount factor, and reward function. We then analyze how strategies like learning rate annealing and reward shaping can favorably alter learning dynamics and plateaus. To conclude, our work introduces new tools to open a new direction towards developing a theory of learning dynamics in reinforcement learning.

연구 동기 및 목표

• TD 학습에서 선형 함수 근사와 함께 학습 동역학을 이해하기 위한 이론적 프레임워크를 개발하는 것.
• 표준 경사 하강법에서는 관찰되지 않는, TD 학습 중 가치 오차의 성능 플레이오프 기원을 설명하는 것.
• 특징 구조, 학습률, 할인 인자, 배치 크기가 수렴 속도와 플레이오프 형성에 미치는 영향을 정량화하는 것.
• 학습 곡선 행동의 분석적 예측을 통해 메타파rameter 설계를 안내하는 것.
• 작은 MDP와 MountainCar-v0와 같은 실제 환경에서 이론을 검증하여 다양한 특징 유형에 걸쳐 강인함을 보여주는 것.

제안 방법

• 이론은 무작위 경로 평균을 시간에 따라 상관된 가우시안 특징 평균으로 대체하는 가우시안 등가 가정을 사용한다.
• 통계역학의 경로 적분 방법을 적용하여 온라인 TD 학습에서 일반적인 경우의 학습 곡선에 대한 해석적 표현을 유도한다.
• 특징 공분산 행렬이 시간에 따라 상관된다고 가정하고, 시간에 따른 기대 가치 오차에 대한 닫힌 형식의 표현을 유도한다.
• 작업-특징 일치도를 핵심 지표로 삼아, 주어진 작업에 대해 특징이 빠른 학습을 얼마나 잘 지원하는지 정량화하는 프레임워크를 구축한다.
• 유도된 공식을 통해 학습률, 배치 크기, 할인 인자에 따른 학습 곡선 스케일링을 예측할 수 있다: $\mathcal{L}_{n}\sim\left[(1-\eta)^{2}+\frac{\eta^{2}}{\alpha}\right]^{n}$.
• JAX와 GPU 가속 시뮬레이션을 사용하여 격자 월드 MDP와 MountainCar-v0 환경에서 수치적으로 검증한다.

실험 결과

연구 질문

• RQ1 선형 함수 근사와 함께 TD 학습을 수행할 때 성능 플레이오프는 무엇으로 인해 발생하는가?
• RQ2 학습률, 할인 인자, 배치 크기는 플레이오프 깊이와 지속 시간에 어떻게 영향을 미치는가?
• RQ3 통계역학 프레임워크는 고차원적이고 비정적일 수 있는 강화학습 설정에서 학습 곡선 동역학을 어느 정도 정확하게 예측할 수 있는가?
• RQ4 작업-특징 일치도는 학습 속도와 플레이오프 형성에 어떻게 영향을 미치는가?
• RQ5 이 이론은 최적의 학습률 감소 전략과 보상 형상화 전략을 안내하는 데 사용될 수 있는가?

주요 결과

• 이론은 합성 환경과 실제 환경(2D 격자 월드, MountainCar-v0 포함) 모두에서 학습 곡선 동역학을 정확히 예측한다.
• 값 오차의 성능 플레이오프는 주로 샘플링된 에피소드로 인한 확률적 반경사 노이즈로 인해 발생하며, 최적화 경로 곡률 때문이 아니다.
• 값 오차는 학습률에 비례하고 배치 크기의 역수에 비례하며, 10개의 시드를 사용한 MountainCar-v0 실험에서 이를 확인하였다.
• 이론을 바탕으로 플레이오프 지속 시간을 줄이고 수렴 속도를 높일 수 있는 학습률 감소 스케줄을 유도할 수 있다.
• 이론을 활용해 작업-특징 일치도를 향상시키고 학습 시간을 단축시킬 수 있도록 보상 형상화를 최적화할 수 있다.
• 이론의 예측은 RBF 장소 세포, 다항식 특징, 푸리에 특징 등 다양한 특징 유형에 걸쳐 유효하여 일반화 가능성의 타당성을 입증한다.