[논문 리뷰] Reanalysis of Variance Reduced Temporal Difference Learning

Tengyu Xu, Zhe Wang외 2명|arXiv (Cornell University)|2020. 01. 07.

Reinforcement Learning in Robotics참고 문헌 30인용 수 18

한 줄 요약

이 논문은 분산 감소 시간 차분(VRTD) 학습을 재분석하여 이전 분석에서의 기술적 오류를 수정하고 엄밀한 비점근 수렴 보장을 수립한다. VRTD는 분산 감소를 위한 배치 크기를 증가시킴으로써 분산과 편향 오차를 크게 줄여, 조건 수가 작을 경우 i.i.d. 및 마르코프 샘플링 모두에서 기존의 TD 학습보다 우수한 계산 복잡도를 달성하며, TD 고정점의 이웃으로 선형 수렴한다.

ABSTRACT

Temporal difference (TD) learning is a popular algorithm for policy evaluation in reinforcement learning, but the vanilla TD can substantially suffer from the inherent optimization variance. A variance reduced TD (VRTD) algorithm was proposed by Korda and La (2015), which applies the variance reduction technique directly to the online TD learning with Markovian samples. In this work, we first point out the technical errors in the analysis of VRTD in Korda and La (2015), and then provide a mathematically solid analysis of the non-asymptotic convergence of VRTD and its variance reduction performance. We show that VRTD is guaranteed to converge to a neighborhood of the fixed-point solution of TD at a linear convergence rate. Furthermore, the variance error (for both i.i.d.\ and Markovian sampling) and the bias error (for Markovian sampling) of VRTD are significantly reduced by the batch size of variance reduction in comparison to those of vanilla TD. As a result, the overall computational complexity of VRTD to attain a given accurate solution outperforms that of TD under Markov sampling and outperforms that of TD under i.i.d.\ sampling for a sufficiently small conditional number.

연구 동기 및 목표

• Korda와 La(2015)에서 제시한 분산 감소 시간 차분(VRTD) 학습의 수렴 분석에서 기술적 오류를 식별하고 수정한다.
• i.i.d. 및 마르코프 샘플링 조건 하에서 VRTD의 수학적으로 엄밀한 비점근 수렴 분석을 제공한다.
• VRTD에서 분산 감소 배치 크기가 분산과 편향 오차에 미치는 영향을 정량화한다.
• 주어진 정확도 수준에 도달하기 위한 VRTD와 기존의 TD 학습 간의 총 계산 복잡도를 비교한다.

제안 방법

• 잔여 분산과 편향 항을 분리하는 새로운 오차 분해를 사용하여 VRTD의 수렴 증명을 재구성한다.
• 이중 루프 구조를 적용: 외부 루프는 배치의 의사기울기( pseudo-gradient)를 계산하고, 내부 루프는 분산 감소 기울기 추정치를 사용해 매개변수를 갱신한다.
• 반복값과 고정점 해 사이의 기대 제곱 오차를 제한하기 위해 리아푸노프 함수 방법을 사용한다.
• 마르코프 샘플의 혼합 성질과 배치 크기의 영향을 분석하여 잔여 분산과 편향 항의 경계를 유도한다.
• 일정한 학습률 하에서 TD 고정점의 이웃으로 선형 수렴 속도를 확립한다.
• i.i.d. 및 마르코프 샘플링 조건 하에서 VRTD와 기존의 TD 학습의 표본 복잡도 경계를 유도하여 계산 복잡도를 비교한다.

실험 결과

연구 질문

• RQ1 VRTD에서 분산 감소가 i.i.d. 샘플링 조건에서 기존의 TD 학습에 비해 확률적 의사기울기 분산으로 인한 상수 오차 항을 줄이는가?
• RQ2 VRTD는 마르코프 샘플링으로 인해 발생하는 추가적인 편향 오차를 줄이는가? 이는 배치 크기에 어떻게 의존하는가?
• RQ3 VRTD에서 분산 감소에 사용된 배치 크기와 분산 및 편향 오차 간의 관계는 어떠한가?
• RQ4 i.i.d. 및 마르코프 샘플링 조건 하에서 주어진 정확도를 달성하기 위해 VRTD의 총 계산 복잡도는 기존의 TD 학습과 어떻게 비교되는가?
• RQ5 VRTD가 기존의 TD 학습보다 총 의사기울기 계산 횟수 측면에서 언제 더 우수한 성능을 발휘하는가?

주요 결과

• 일정한 학습률 하에서 VRTD는 TD 고정점 해의 이웃으로 선형 수렴하며, 오차는 비율 C1 < 1 에 따라 기하급수적으로 감소한다.
• i.i.d. 및 마르코프 샘플링 조건 모두에서 잔여 분산 오차는 분산 감소에 사용된 배치 크기 M에 비례하여 1/M의 비율로 감소한다.
• 마르코프 샘플링 조건 하에서 VRTD의 편향 오차는 기존의 TD 학습에 비해 1/M의 비율로 감소한다.
• i.i.d. 샘플링 조건 하에서 ε-정확도를 달성하기 위한 VRTD의 총 계산 복잡도는 O((1/ελ²A)log(1/ε))이며, 마르코프 샘플링 조건 하에서는 O((1/ελ²A)log²(1/ε))이다.
• 충분히 작은 조건 수를 가진 경우, 마르코프 샘플링 조건 하에서 VRTD는 기존의 TD 학습보다 총 의사기울기 계산 횟수 측면에서 승리하며, i.i.d. 샘플링 조건 하에서도 동일한 조건에서 승리한다.
• Korda와 La(2015)의 원래 VRTD 수렴 증명에서의 기술적 결함을 수정하여 이 방법의 타당한 이론적 기반을 제공한다.