[논문 리뷰] Adaptive Temporal Difference Learning with Linear Function Approximation

Tao Sun, Han Shen외 2명|arXiv (Cornell University)|2020. 02. 20.

Reinforcement Learning in Robotics참고 문헌 44인용 수 8

한 줄 요약

이 논문은 선형 함수 근사와 함께 적응형 스텝 사이즈를 사용하는 적응형 시간 차이 학습 알고리즘인 AdaTD(0)과 AdaTD(λ)를 제안한다. 이는 수렴의 안정성을 향상시키기 위한 것이다. 확률적 경사 하강법과의 연결을 활용하고 마르코프 샘플링 하에서 분석함으로써, 저자들은 Õ(ε⁻² ln⁴(1/ε)/ln⁴(1/ρ))의 반복 복잡도를 갖는 유한 시간 수렴을 증명한다. 이는 최악의 경우 TD(0)와 동일한 성능를 보이며, 특히 희박한 기울기 조건에서 경험적으로 빠른 수렴을 제공한다.

ABSTRACT

This paper revisits the temporal difference (TD) learning algorithm for the policy evaluation tasks in reinforcement learning. Typically, the performance of TD(0) and TD($λ$) is very sensitive to the choice of stepsizes. Oftentimes, TD(0) suffers from slow convergence. Motivated by the tight link between the TD(0) learning algorithm and the stochastic gradient methods, we develop a provably convergent adaptive projected variant of the TD(0) learning algorithm with linear function approximation that we term AdaTD(0). In contrast to the TD(0), AdaTD(0) is robust or less sensitive to the choice of stepsizes. Analytically, we establish that to reach an $ε$ accuracy, the number of iterations needed is $ ilde{O}(ε^{-2}\ln^4\frac{1}ε/\ln^4\frac{1}ρ)$ in the general case, where $ρ$ represents the speed of the underlying Markov chain converges to the stationary distribution. This implies that the iteration complexity of AdaTD(0) is no worse than that of TD(0) in the worst case. When the stochastic semi-gradients are sparse, we provide theoretical acceleration of AdaTD(0). Going beyond TD(0), we develop an adaptive variant of TD($λ$), which is referred to as AdaTD($λ$). Empirically, we evaluate the performance of AdaTD(0) and AdaTD($λ$) on several standard reinforcement learning tasks, which demonstrate the effectiveness of our new approaches.

연구 동기 및 목표

• 실제 응용에서 스텝 사이즈 선택에 민감한 TD(0)과 TD(λ)의 문제를 해결하기 위해, 특히 느린 수렴을 초래하는 요인을 개선하고자 한다.
• 마르코프 샘플링 하에서도 수렴 보장을 유지하는 선형 함수 근사와 함께 증명 가능하게 수렴하는 TD(0)의 적응형 변종을 개발하고자 한다.
• 적응형 프레임워크를 TD(λ)로 확장하여 정책 평가 작업에서 강건하고 빠른 학습을 가능하게 하고자 한다.
• 실제 마르코프 체인 가정 하에서 제안된 적응형 알고리즘의 유한 시간 수렴 한계를 설정하고자 한다.
• 표준 강화 학습 벤치마크에서 AdaTD(0)과 AdaTD(λ)의 효과성을 경험적으로 검증하고자 한다.

제안 방법

• 확률적 경사 하강법에서 영감을 얻은 적응형 스텝 사이즈를 사용하는 TD(0)의 적응형 투영 변종인 AdaTD(0)를 제안한다.
• 비독립 동일분포가 아닌 TD 업데이트의 특성을 고려하여, 마르코프 샘플링 하에서의 유한 시간 수렴을 입증하기 위해 라플라스 함수 기반 분석을 채택한다.
• 고정된 목적 함수가 없는 상황에서도 수렴 보장을 가능하게 하는 새로운 분석 프레임워크를 도입하여, TD(0)과 확률적 최적화 간의 연결을 수립한다.
• AdaTD(0)에 대해 Õ(ε⁻² ln⁴(1/ε)/ln⁴(1/ρ))의 반복 복잡도 한계를 유도하며, 이는 표준 TD(0)와 최악의 경우 동일한 성능를 보임을 보여준다.
• 적응형 프레임워크를 TD(λ)로 확장하여, 이론적 수렴과 벤치마크 작업에서의 경험적 검증을 통해 AdaTD(λ)를 도입한다.
• 기울기와 운동량 항의 성장률을 제어하기 위해 기술적 보조정리를 활용하여, 적응형 스텝 사이즈 하에서도 안정성과 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 마르코프 샘플링 하에서 수렴이 보장되는 선형 함수 근사와 함께 TD(0)에 대한 적응형 스텝 사이즈 전략을 설계할 수 있는가?
• RQ2 제안된 AdaTD(0) 알고리즘이 스텝 사이즈 선택에 대한 민감도를 감안할 때 표준 TD(0)보다 더 높은 수렴 강건성을 확보하는가?
• RQ3 AdaTD(0)의 유한 시간 수렴 속도는 무엇이며, 표준 TD(0)의 최악의 경우 속도와 비교해 볼 때 어떻게 되는가?
• RQ4 적응형 프레임워크는 TD(λ)로 확장될 수 있으며, AdaTD(λ)는 수렴성과 성능 향상을 유지하는가?
• RQ5 AdaTD(0)이 이론적 가속을 달성할 수 있는 조건는 무엇이며, 특히 확률적 반기기울기(semi-gradients)가 희박한 경우에 어떻게 되는가?

주요 결과

• AdaTD(0)는 ε-정확도를 위해 Õ(ε⁻² ln⁴(1/ε)/ln⁴(1/ρ))의 반복 복잡도로 유한 시간 수렴을 달성하며, 이는 표준 TD(0)의 최악의 경우 성능와 동일하다.
• 알고리즘은 스텝 사이즈 선택에 대해 증명 가능한 강건성을 보이며, 수동 하이퍼파rameter 튜닝의 필요성을 줄인다.
• 확률적 반기기울기가 희박한 경우, AdaTD(0)는 이론적 가속을 달성하여 수렴 속도를 향상시킨다.
• AdaTD(λ)는 마르코프 샘플링 모델 하에서 동일한 수렴 보장을 유지하는 TD(λ)의 적응형 확장으로 개발되었다.
• 표준 강화 학습 작업에서의 경험적 평가 결과, AdaTD(0)과 AdaTD(λ)는 비적응형 대응 알고리즘보다 수렴 속도와 안정성에서 뛰어난 성능을 보였다.
• 분석을 통해 AdaTD(0)의 수렴 속도는 최악의 경우 TD(0)보다 열악하지 않으며, 유리한 조건에서는 잠재적인 가속 효과를 제공함을 입증하였다.