[논문 리뷰] A First Empirical Study of Emphatic Temporal Difference Learning

Sina Ghiassian, Banafsheh Rafiee외 1명|arXiv (Cornell University)|2017. 05. 11.

Reinforcement Learning in Robotics참고 문헌 5인용 수 8

한 줄 요약

이 논문은 수정된 마운틴카 환경을 사용하여 온정책 및 오프정책 설정에서 전통적인 TD(0)와 비교하여 강조적 시간 차이 학습(ETD)의 첫 번째 실증 연구를 제시한다. ETD는 두 설정 모두에서 TD(0)보다 더 낮은 점근적 오차 성능을 달성하며 '반사 효과'가 없지만, 높은 분산으로 인해 오프정책 시나리오에서는 더 천천가서 수렴한다.

ABSTRACT

In this paper we present the first empirical study of the emphatic temporal-difference learning algorithm (ETD), comparing it with conventional temporal-difference learning, in particular, with linear TD(0), on on-policy and off-policy variations of the Mountain Car problem. The initial motivation for developing ETD was that it has good convergence properties under off-policy training (Sutton, Mahmood and White 2016), but it is also a new algorithm for the on-policy case. In both our on-policy and off-policy experiments, we found that each method converged to a characteristic asymptotic level of error, with ETD better than TD(0). TD(0) achieved a still lower error level temporarily before falling back to its higher asymptote, whereas ETD never showed this kind of "bounce". In the off-policy case (in which TD(0) is not guaranteed to converge), ETD was significantly slower.

연구 동기 및 목표

• 강화학습의 온정책 및 오프정책 설정에서 강조적 시간 차이 학습(ETD)의 성능을 실증적으로 평가하는 것.
• 수렴 속도, 점근적 오차, 다양한 단계 크기에서의 안정성 측면에서 ETD를 표준 TD(0)와 비교하는 것.
• ETD가 오프정책 학습에서 이론적으로 보장하는 수렴 성질이 실질적인 온정책 학습으로도 적용되는지 조사하는 것.
• 단계 크기 선택과 학습 동역학이 오차 궤적에 미치는 영향, 특히 ETD에서 '반사 현상'이 나타나지 않는 이유를 조사하는 것.
• 상태에 따라 변화하는 λ를 사용할 경우 TD(λ)가 온정책 학습에서 발산할 수 있다는 이론적 반례가 실증 결과로도 확인되는지 검증하는 것.

제안 방법

• ETD는 상태 방문 빈도에 따라 업데이트를 강조하거나 약화시키기 위해 후속 추적(F_t)을 사용한다. F_t는 F_t = ρ_{t-1}F_{t-1} + 1이며, F_0 = 1로 정의된다.
• 업데이트 규칙은 θ_{t+1} ← θ_t + αρ_t F_t (R_{t+1} + θ_t^T φ_{t+1} - θ_t^T φ_t) φ_t 이며, 여기서 ρ_t = π(A_t|S_t)/μ(A_t|S_t)이다.
• 온정책 설정에서는 ρ_t = 1이지만, ETD는 F_t 가중치 덕분에 TD(0)와 다름을 보이며, 이는 학습 안정성을 높인다.
• 오프정책 설정에서는 μ ≠ π이며, ETD는 정책 불일치에도 불구하고 수렴을 유지하지만, 표준 TD(0)는 그렇지 않다.
• 학습 곡선은 500,000 에피소드 동안 평가되며, 마지막 1%의 에피소드 평균을 취해 점근적 성능를 평가한다.
• MSVE(평균 제곱값 오차)는 500개의 샘플링된 상태를 사용한 고정 정책 마운틴카 테스트베드에서 계산되며, 추정된 값 함수와 진짜 값 함수 간의 가중 평균 제곱 오차이다.

실험 결과

연구 질문

• RQ1 ETD는 온정책 강화학습에서 점근적 평균 제곱값 오차(MSVE) 측면에서 TD(0)를 능가하는가?
• RQ2 다양한 단계 크기에서 TD(0)와 ETD 간에 '반사 현상'(일시적인 오차 감소 후 다시 증가)이 어떻게 나타나는가?
• RQ3 TD(0)가 수렴이 보장되지 않는 조건에서 ETD는 안정적인 수렴을 달성할 수 있는가?
• RQ4 온정책 및 오프정책 시나리오에서 ETD와 TD(0)에 적합한 단계 크기 α의 최적 범위는 무엇인가?
• RQ5 상태에 따라 변화하는 λ를 사용할 경우 TD(λ)가 온정책 학습에서 발산할 수 있다는 이론적 반례가 실증 결과로도 확인되는가?

주요 결과

• 온정책 설정에서 ETD는 모든 단계 크기에서 TD(0)보다 더 낮은 점근적 MSVE를 지속적으로 달성하였으며, 어떤 단계 크기에서도 반사 효과가 관찰되지 않았다.
• TD(0)는 단계 크기와 관계없이 특징적인 '반사' 현상을 보였으며, 일시적인 오차 감소 후 더 높은 점근적 수준으로 증가하였다. 이 현상은 α가 작을수록 더 오래 지속되었다.
• α < 10^{-4}일 경우, TD(0)는 500,000 에피소드 내에 수렴하지 못했지만, ETD는 적절히 작은 α(예: ~10^{-7})를 사용하여 안정적인 수렴을 유지하였다.
• 오프정책 설정에서 ETD는 TD(0)보다 더 낮은 점근적 성능를 달성했지만, 높은 분산으로 인해 매우 작은 단계 크기 필요로 인해 수렴 속도가 현저히 느렸다.
• TD(0)는 더 큰 단계 크기를 사용할 수 있어 오프정책 설정에서 ETD보다 빠르게 수렴했지만, 그 대가로 더 높은 점근적 오차를 보였다.
• 모든 실험에서 ETD에서 반사 현상이 나타나지 않아, 이는 F_t 가중치 메커니즘이 존재함에도 불구하고 온정책 상황에서도 안정성을 보장함을 확인한다.