[논문 리뷰] On TD(0) with function approximation: Concentration bounds and a centered variant with exponential convergence

Nathaniel Korda, L. A. Prashanth|arXiv (Cornell University)|2014. 11. 12.

Reinforcement Learning in Robotics참고 문헌 8인용 수 5

한 줄 요약

이 논문은 선형 함수 근사와 함께 TD(0)에 대한 비점근적 농도 경계를 제공하며, 정적 분포에 대한 지식이 없이도 최적 수렴을 보장할 수 없는 표준 단계 크기의 한계를 보여준다. 중심화된 TD(0)의 변형을 제안하여 기대값에서 지수 수렴을 달성하고, 반복 평균화가 정적 분포 지식 없이도 최적의 O(1/√n) 수렴 속도를 달성할 수 있음을 입증한다. 이는 합성 환경에서 검증되었다.

ABSTRACT

We provide non-asymptotic bounds for the well-known temporal difference learning algorithm TD(0) with linear function approximators. These include high-probability bounds as well as bounds in expectation. Our analysis suggests that a step-size inversely proportional to the number of iterations cannot guarantee optimal rate of convergence unless we assume (partial) knowledge of the stationary distribution for the Markov chain underlying the policy considered. We also provide bounds for the iterate averaged TD(0) variant, which gets rid of the step-size dependency while exhibiting the optimal rate of convergence. Furthermore, we propose a variant of TD(0) with linear approximators that incorporates a centering sequence, and establish that it exhibits an exponential rate of convergence in expectation. We demonstrate the usefulness of our bounds on two synthetic experimental settings.

연구 동기 및 목표

• 선형 함수 근사와 함께 TD(0)의 유한 시간 분석에서의 격차를 메우기 위해 비점근적 경계를 제공하는 것.
• 마르코프 체인의 정적 분포에 대한 사전 지식 없이도 최적 수렴 속도를 달성할 수 없는 표준 단계 크기 선택(예: ∝1/n)의 한계를 규명하는 것.
• 기대값에서 지수 수렴을 달성하는 새로운 중심화된 TD(0) 변형을 제안하는 것.
• 이론적 경계의 실용적 유용성을 합성 실험에서의 단계 크기 선택을 통해 입증하는 것.

제안 방법

• 기본 마르코프 체인의 혼합 가정을 바탕으로 ∥θn − θ∗∥²에 대한 고확률 및 기대값 기반 경계를 유도한다.
• 분산을 줄이고 수렴 속도를 향상시키기 위해 중심화 시퀀스를 포함한 TD(0)의 중심화된 변형을 도입한다.
• 에포크 단위로 오차 동역학을 분석하여 중심화된 변형의 기대값에서의 지수 수렴을 확립한다.
• 반복 평균화를 통해 정적 분포 지식이 필요 없이도 최적의 O(1/√n) 수렴 속도를 달성한다.
• 에포크 간 블록 평균화 기법을 적용하여 오차 항을 제어하고 기대 오차에 대한 재귀적 경계를 유도한다.
• 특징 벡터의 노름과 혼합 비율(혼합 계수 µ를 통해)에 대한 가정을 활용하여 분산 및 편향 성분을 경계한다.

실험 결과

연구 질문

• RQ1 선형 함수 근사와 함께 TD(0)에 대해 비점근적 경계를 설정할 수 있는가? 이는 유한 시간 수렴 속도를 정량화할 수 있는가?
• RQ2 왜 표준 단계 크기 선택(∝1/n)은 정적 분포 지식이 없이도 최적의 O(1/√n) 속도를 달성하지 못하는가?
• RQ3 TD(0)의 중심화된 변형은 기대값에서 지수 수렴을 달성할 수 있으며, 그 배경 메커니즘은 무엇인가?
• RQ4 반복 평균화는 정적 분포 지식에 대한 의존성을 어떻게 제거하면서도 최적 수렴을 유지하는가?
• RQ5 이론적 경계는 합성 환경에서 단계 크기 선택을 지도하는 데 실용적으로 활용될 수 있는가?

주요 결과

• 정적 분포의 혼합 성질에 대한 사전 지식 없이도 표준 TD(0) 알고리즘은 단계 크기 ∝1/n로 최적의 O(1/√n) 수렴 속도를 달성할 수 없다.
• TD(0)의 반복 평균화는 정적 분포 지식 없이도 기대값에서 최적의 O(1/√n) 수렴 속도를 달성한다.
• 제안된 중심화된 TD(0) 변형은 기대값에서 지수 수렴을 달성하여 표준 TD(0)보다 수렴 속도 면에서 뚜렷이 뛰어나다.
• 이론적 경계는 합성 실험에서 단계 크기 및 에포크 길이 선택을 지도하는 데 성공적으로 활용되었으며, CTD는 표준 TD(0) 및 TD(0)-평균화보다 낮은 분산을 보였다.
• 분석에서 오차 항은 혼합 가정과 특징 벡터의 노름에 대한 경계를 통해 제어되었으며, 이는 기대 오차 성장에 대한 엄밀한 제어를 가능하게 하였다.
• 실험 결과는 중심화된 변형(Centered TD, CTD)이 특히 고차원 설정에서 표준 TD(0) 및 평균화된 TD(0)보다 더 빠르고 분산이 낮게 수렴하는 것으로 확인되었다.