[논문 리뷰] Generalized Emphatic Temporal Difference Learning: Bias-Variance Analysis

Assaf Hallak, Aviv Tamar외 2명|arXiv (Cornell University)|2015. 09. 17.

Reinforcement Learning in Robotics참고 문헌 15인용 수 18

한 줄 요약

이 논문은 중요도 샘플링 비율의 감쇠 파rameter β를 통해 편향과 분산을 제어하는 일반화된 이탈 정책 시간 차분 학습 프레임워크인 ETD(λ, β)를 소개한다. ETD(λ, β)에 대한 최초의 渐近적 오차 경계를 증명하여 원래의 ETD 알고리즘은 유한한 편향을 가지며, β 조정을 통해 유리한 편향-분산 트레이드오프를 실현할 수 있음을 보이며, 이로 인해 표준 ETD 설정을 초월한 총 오차 향상을 가능하게 한다.

ABSTRACT

We consider the off-policy evaluation problem in Markov decision processes with function approximation. We propose a generalization of the recently introduced \emph{emphatic temporal differences} (ETD) algorithm \citep{SuttonMW15}, which encompasses the original ETD($λ$), as well as several other off-policy evaluation algorithms as special cases. We call this framework \ETD, where our introduced parameter $β$ controls the decay rate of an importance-sampling term. We study conditions under which the projected fixed-point equation underlying \ETD\ involves a contraction operator, allowing us to present the first asymptotic error bounds (bias) for \ETD. Our results show that the original ETD algorithm always involves a contraction operator, and its bias is bounded. Moreover, by controlling $β$, our proposed generalization allows trading-off bias for variance reduction, thereby achieving a lower total error.

연구 동기 및 목표

• 통제 가능한 편향-분산 트레이드오프를 제공하는 단일 프레임워크로 기존의 이탈 정책 TD 알고리즘을 통합하기 위해.
• 함수 근사와 일반적인 행동-대상 정책 쌍이 존재하는 상황에서 이탈 정책 시간 차분 학습의 편향을 분석하기 위해.
• 강화학습의 강한 시간 차분(ETD) 알고리즘과 그 일반화에 대한 최초의 渐近적 오차 경계를 수립하기 위해.
• ETD(λ, β) 프레임워크가 일반 조건 하에서 수축 성질을 유지함으로써 수렴성과 유한한 오차를 보장함을 보여주기 위해.
• 원래의 ETD(β = γ)가 평균 제곱 오차 측면에서 최적이 아니며, β를 조정함으로써 총 오차를 감소시킬 수 있음을 보여주기 위해.

제안 방법

• ETD(λ)의 일반화인 ETD(λ, β)를 제안하며, 여기서 β는 업데이트 규칙 내 중요도 샘플링 비율의 감쇠 비율을 제어한다.
• 행동 정책과 감쇠 파rameter β에서 유도된 상태에 따라 가중치가 변하는 행렬 m을 갖는 프로젝션 벨만 연산자를 도입한다.
• λ-부트스트래핑과 β-감쇠 중요도 샘플링을 통합한 수정된 벨만 연산자 T^(λ)를 사용하며, 특정 조건 하에서 수축성을 가짐을 보인다.
• 제이슨의 부등식과 행렬 노름 분석을 적용하여, β가 적절히 선택될 경우 연산자 Π_m T^(λ)가 수축성을 가짐을 증명한다.
• 연산자의 수축 모듈러스에 대한 경계를 유도하며, 이는 λ가 1에 가까워질수록 감소하고, β와 γ에 의존함을 보인다.
• 전이 행렬 P_π의 고유값 구조를 분석하여, 연산자가 수축성을 갖는 조건을 수립한다.

실험 결과

연구 질문

• RQ1 ETD(λ, β)의 프로젝션 벨만 연산자가 수축성을 가지는 조건는 무엇이며, 이는 수렴성과 유한한 오차를 보장하는가?
• RQ2 ETD(λ, β)의 감쇠 파rameter β는 이탈 정책 가치 함수 추정의 편향과 분산에 어떻게 영향을 미치는가?
• RQ3 원래의 ETD 알고리즘(β = γ)이 일반적인 행동 정책와 목표 정책에 대해 유한한 渐近적 오차를 가지는 것으로 보일 수 있는가?
• RQ4 편향과 분산을 균형 잡는 데서 총 평균 제곱 오차를 최소화하는 β의 값이 존재하는가?
• RQ5 ETD(λ, β) 프레임워크는 IS-TD, 표준 TD, ETD를 파arameter β를 변화시킴으로써 특수한 경우로 포함할 수 있는가?

주요 결과

• 모든 β ≥ γ에 대해 ETD(λ, β) 알고리즘이 수축 성질을 유지함으로써 수렴성과 유한한 渐近적 오차를 보장한다.
• 원래의 ETD 알고리즘(β = γ)이 일반적인 목표 정책와 행동 정책에 대해 유한한 편향을 가짐을 입증하여, 그 오차 행동에 대한 열린 질문을 해결한다.
• 수축 모듈러스는 β와 λ에 의존하며, λ가 1에 가까워질수록 감소함을 보이며, 이는 수렴 속도 향상을 시사한다.
• 편향-분산 트레이드오프는 명시적으로 정량화되었으며, β를 증가시키면 분산은 감소하지만 편향은 증가할 수 있고, 그 반대도 마찬가지이다.
• 평균 제곱 오차를 최소화하는 최적의 β는 반드시 γ가 아니며, β를 조정함으로써 원래의 ETD보다 낮은 총 오차를 달성할 수 있음을 시사한다.
• ETD(λ, β) 프레임워크는 β를 변화시킴으로써 IS-TD, ETD, 표준 TD를 특수한 경우로 포함하며, 이탈 정책 TD 방법들에 대한 통합적 시각을 제공한다.