[논문 리뷰] A Finite Time Analysis of Temporal Difference Learning With Linear Function Approximation

Jalaj Bhandari, Daniel Russo외 1명|arXiv (Cornell University)|2018. 06. 06.

Reinforcement Learning in Robotics인용 수 31

한 줄 요약

이 논문은 마르코프 데이터 하에서 선형 함수 근사와 함께 시간 차분(TD) 학습에 대한 최초의 유한시간 분석을 제공하며, 기울기 유사 성질과 정보이론적 편향 제어를 활용하여 확률적 경사하강법(SGD)과 비교할 만한 수렴 속도를 보여준다. 할인 인자, 특징 공분산 조건화, 혼합 시간에 따라 달라지는 명시적이고 비점근적인 경계를 수립하여, 고차원 최적 정지 문제에서 TD(λ)와 Q-학습으로까지 확장된다.

ABSTRACT

Temporal difference learning (TD) is a simple iterative algorithm used to estimate the value function corresponding to a given policy in a Markov decision process. Although TD is one of the most widely used algorithms in reinforcement learning, its theoretical analysis has proved challenging and few guarantees on its statistical efficiency are available. In this work, we provide a simple and explicit finite time analysis of temporal difference learning with linear function approximation. Except for a few key insights, our analysis mirrors standard techniques for analyzing stochastic gradient descent algorithms, and therefore inherits the simplicity and elegance of that literature. Final sections of the paper show how all of our main results extend to the study of TD learning with eligibility traces, known as TD($\\lambda$), and to Q-learning applied in high-dimensional optimal stopping problems.

연구 동기 및 목표

• 마르코프 데이터 스트림 하에서 TD 학습의 이론적 이해 격차를 메우기 위해 마르코프 데이터 하에서 비점근적인 수렴 보장을 제공한다.
• 할인 인자, 특징 공분산 조건화, 마르코프 체인의 혼합 시간과 같은 핵심 문제 특성에 따라 의존하는 명시적 유한시간 경계를 수립한다.
• 이전에 비점근적 보장이 없었던 고차원 최적 정지 문제에서 TD(λ)와 Q-학습으로 분석을 확장한다.
• TD 학습이 확률적 경사하강법과 구조적 유사성을 가지며, SGD 분석 기법의 재사용이 가능하다는 것을 보여준다.
• 유한한 기울기 노이즈와 의존적 데이터 하에서의 해석 가능한 편향 제어를 보장하는 강력한 프로젝션 기반 프레임워크를 제공한다.

제안 방법

• TD 업데이트를 이차 손실 함수에 대한 확률적 경사하강 단계로 모델링하여 표준 SGD 수렴 기법의 적용을 가능하게 한다.
• 기울기 노이즈의 유한성을 보장하고 편향을 제어하기 위해 노름 구역(Θ_R) 위에 프로젝션 단계를 사용한다. 이는 확률적 근사에서 표준 기법이다.
• 마르코프 의존성으로 인한 기울기 추정의 편향을 제어하기 위해 정보이론적 도구를 사용하며, 이는 기저 체인의 혼합 시간에 비례한다.
• 기울기 노름(G = r_max + 2R)의 균일한 경계와 편향의 리프시츠 연속성에 대한 레마를 통해 수렴 분석을 가능하게 한다.
• 동일한 가정 하에 동일한 구조적 성질이 유지됨을 보여줌으로써, TD(λ)와 Q-학습으로 프레임워크를 확장한다.
• 최적화 문헌에서 유래한 기법들을 사용하여 이론적 경계를 유도하며, 마르코프 노이즈가 존재하는 비점근적 SGD에 대한 기법들을 포함한다.

실험 결과

연구 질문

• RQ1 관측치가 의존적인 마르코프 데이터 하에서 선형 함수 근사와 함께 TD 학습에 대해 유한시간 수렴 보장을 확립할 수 있는가?
• RQ2 TD(0)의 수렴 속도는 마르코프 체인의 혼합 시간과 특징 공분산 행렬의 조건화에 어떻게 영향을 받는가?
• RQ3 고정된 손실 함수가 없는 상황에서 TD 학습 분석을 SGD 이론과 얼마나 통합할 수 있는가?
• RQ4 동일한 유한시간 분석 프레임워크를 고차원 최적 정지 문제에서의 TD(λ)와 Q-학습으로 확장할 수 있는가?
• RQ5 노름 구역에 대한 프로젝션 단계는 마르코프 노이즈 하에서 유한성 확보와 수렴 가능성을 위해 어떤 역할을 하는가?

주요 결과

• 논문은 마르코프 데이터 하에서 선형 함수 근사와 함께 TD(0)에 대해 Õ(1/T)의 유한시간 수렴 속도를 확립하며, 이는 i.i.d. 노이즈 모델에서의 최고 수준의 속도와 동일하다.
• 수렴 경계는 마르코프 체인의 혼합 시간에 명시적으로 의존하며, 이는 i.i.d. 경우 대비 편향 항이 이 요소에 비례하여 조정된다.
• 기울기 노름은 G = r_max + 2R로 균일하게 유한하게 유지되어 안정성을 보장하고 표준 SGD 분석 도구의 사용을 가능하게 한다.
• 분석은 기대 TD 업데이트가 SGD의 기울기 유사 성질을 만족함을 드러내며, 이는 SGD 수렴 기법의 재사용을 정당화한다.
• 프레임워크는 고차원 최적 정지 문제에서 TD(λ)와 Q-학습로 수정 없이 확장되며, 이러한 설정에 대해 처음으로 비점근적 보장을 제공한다.
• 프로젝션 단계는 마르코프 설정에서 편향과 노이즈를 제어하는 데 필수적이며, 이를 제거할 경우 반복값에 대한 추가 유한성 가정이 필요하다.