[논문 리뷰] On Convergence of Emphatic Temporal-Difference Learning

Huizhen Yu|arXiv (Cornell University)|2015. 06. 08.

Reinforcement Learning in Robotics참고 문헌 25인용 수 15

한 줄 요약

이 논문은 선형 함수 근사와 함께 오프-폴리시 강화학습에서 두 가지 강조된 시간차 학습 알고리즘인 ETD(λ)와 ELSTD(λ)에 대한 최초의 수렴 증명을 제시한다. 일반적인 오프-폴리시 조건 하에서, 단일 무한 트레이젝터리에 의한 가치 함수 추정의 거의 확실 수렴과 ELSTD(λ)의 L¹ 수렴을 확립하며, 강조 방법을 넘어서도 적용 가능한 새로운 분석 기법을 사용한다.

ABSTRACT

We consider emphatic temporal-difference learning algorithms for policy evaluation in discounted Markov decision processes with finite spaces. Such algorithms were recently proposed by Sutton, Mahmood, and White (2015) as an improved solution to the problem of divergence of off-policy temporal-difference learning with linear function approximation. We present in this paper the first convergence proofs for two emphatic algorithms, ETD($λ$) and ELSTD($λ$). We prove, under general off-policy conditions, the convergence in $L^1$ for ELSTD($λ$) iterates, and the almost sure convergence of the approximate value functions calculated by both algorithms using a single infinitely long trajectory. Our analysis involves new techniques with applications beyond emphatic algorithms leading, for example, to the first proof that standard TD($λ$) also converges under off-policy training for $λ$ sufficiently large.

연구 동기 및 목표

• 강조된 시간차 학습 알고리즘의 오프-폴리시 설정에서 이론적 수렴 보장을 확립하기 위해.
• 선형 함수 근사와 함께 오프-폴리시 TD 학습에서 알려진 발산 문제를 다루기 위해.
• 일반적인 오프-폴리시 데이터 생성 조건 하에서 ETD(λ)와 ELSTD(λ)의 엄밀한 수학적 분석을 제공하기 위해.
• 더 넓은 범주에 걸친 시간차 방법에 적용 가능한 새로운 분석 기법을 개발하기 위해.
• 표준 TD(λ)도 λ가 충분히 클 경우 오프-폴리시 학습에서 수렴함을 증명하기 위해.

제안 방법

• 중요도 샘플링과 유인성 추적을 사용하는 오프-폴리시 시간차 알고리즘으로서 ETD(λ)와 ELSTD(λ)를 제안한다.
• 확률적 근사 이론을 적용하여 알고리즘의 수렴성을 분석한다.
• 오프-폴리시 데이터를 다루기 위해 가중 평균과 경험 과정 기법을 포함하는 새로운 분석 프레임워크를 도입한다.
• 단일 무한 트레이젝터리를 사용하여 가치 함수 추정의 거의 확실 수렴을 유도한다.
• 특히 부록 A.4의 Proposition C.1과 발음 17에 관해 이전 문헌의 증명을 수정하고 정밀화한다.
• 비.i.i.d. 및 비균일 분포된 데이터를 포함한 일반적인 오프-폴리시 조건 하에서 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 단일 무한 트레이젝터리를 사용할 때, 일반적인 오프-폴리시 조건 하에서 ETD(λ)는 수렴하는가?
• RQ2 선형 함수 근사와 함께 오프-폴리시 학습에서 ELSTD(λ)는 L¹ 수렴하는가?
• RQ3 강조된 TD 학습의 이론적 분석을 확장하여 표준 TD(λ)가 오프-폴리시 설정에서 수렴함을 증명할 수 있는가?
• RQ4 TD 학습에서 비.i.i.d. 및 편향된 성격을 띤 오프-폴리시 데이터를 다루기 위해 어떤 새로운 분석 기법이 필요한가?
• RQ5 이전 증명의 수정 사항이 수렴 결과의 타당성과 일반성에 어떤 영향을 미치는가?

주요 결과

• 일반적인 오프-폴리시 조건 하에서 ELSTD(λ)는 L¹ 수렴을 보이며, 이는 가치 함수 추정에 대한 이론적 신뢰성을 확립한다.
• ETD(λ)와 ELSTD(λ)에 의해 계산된 근사 가치 함수는 단일 무한 트레이젝터리에 따라 거의 확실하게 수렴한다.
• 분석을 통해 표준 TD(λ)도 λ가 충분히 클 경우 오프-폴리시 학습에서 수렴함을 최초로 증명한다.
• 논문은 이전 증명을 수정하고 강화하며, 특히 Proposition C.1이 Proposition C.2의 첫 번째 부분에 의존하는 데 관해 명확히 한다.
• 개발된 분석 기법은 강조 알고리즘을 넘어서 일반화 가능하며, 표준 TD(λ) 및 기타 오프-폴리시 TD 방법에 적용 가능하다.
• 수렴 결과는 행동 정책과 기초가 되는 MDP에 대해 최소한의 가정 하에서도 성립하므로 실용적 적용 가능성이 향상된다.