[논문 리뷰] Separating value functions across time-scales

Joshua Romoff, Peter Henderson외 4명|arXiv (Cornell University)|2019. 02. 05.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 시간적 차분 학습 방법인 TD(Δ)를 소개한다. TD(Δ)는 연속적인 할인 인자에서의 가치 함수 간 차이를 나타내는 구성요소로 가치 함수를 분해한다. 이러한 델타 추정기들을 독립적으로 학습시킴으로써 TD(Δ)는 밀도 높은 보상 환경(예: Atari)에서 학습 안정성과 성능을 향상시키며, 추가적인 초모수 조정 없이도 기본 설정을 초과하지 않고 더 빠른 수렴과 더 나은 수익을 달성한다.

ABSTRACT

In many finite horizon episodic reinforcement learning (RL) settings, it is desirable to optimize for the undiscounted return - in settings like Atari, for instance, the goal is to collect the most points while staying alive in the long run. Yet, it may be difficult (or even intractable) mathematically to learn with this target. As such, temporal discounting is often applied to optimize over a shorter effective planning horizon. This comes at the risk of potentially biasing the optimization target away from the undiscounted goal. In settings where this bias is unacceptable - where the system must optimize for longer horizons at higher discounts - the target of the value function approximator may increase in variance leading to difficulties in learning. We present an extension of temporal difference (TD) learning, which we call TD($Δ$), that breaks down a value function into a series of components based on the differences between value functions with smaller discount factors. The separation of a longer horizon value function into these components has useful properties in scalability and performance. We discuss these properties and show theoretic and empirical improvements over standard TD learning in certain settings.

연구 동기 및 목표

• 고정된 할인율에 의해 유도되는 편향을 피하면서 장기적 할인되지 않은 수익을 최적화하는 데 도전하는 것.
• 표준 TD 학습이 높은 분산으로 인해 어려움을 겪는, Atari와 같은 밀도 높은 보상 환경에서 학습 안정성과 수렴 속도를 향상시키는 것.
• 각 시간 스케일에 특화된 구성요소로 가치 함수를 분해함으로써 확장 가능하고 모듈러한 학습을 가능하게 하는 것.
• 다양한 시간 범위에서 가치 함수 구성요소의 해석 가능성을 제공하는 방법을 제공하는 것.
• 표준 TD 학습의 즉시 교체 가능한 대체 방법을 제공하여 구성요소별 초모수 조정을 통해 성능을 향상시키는 것.

제안 방법

• TD(Δ)는 가치 함수 VγZ를 연속적인 델타 추정기 Wz = Vγz − Vγz−1로 분해한다. 여기서 각 Wz는 새로운 시간 스케일을 추가함으로써 얻는 증분 가치를 나타낸다.
• 각 델타 추정기 Wz는 더 짧은 시간 범위의 Ws에 기반한 벨먼 유사 방정식을 만족하므로, 각 구성요소를 독립적으로 학습할 수 있다.
• 증가하는 할인 인자 γz의 시퀀스를 사용하며, z는 0에서 Z까지 범위를 가진다. 일반적으로 γz는 효과적인 수평선을 두 배로 늘림으로써 설정된다 (예: γz = 0.5^z).
• 최종 가치 함수는 모든 Wz 구성요소의 합으로 재구성되며, 가장 큰 수평선 γZ에서 원래의 할인된 수익을 유지한다.
• 각 구성요소에 대한 세밀한 초모수 조정(예: 학습률 및 수익 추정 방식, 예: k단계 수익)이 가능하여 수렴 성능을 향상시킨다.
• TD(Δ)는 기존의 TD 기반 알고리즘인 TD(λ) 및 일반화된 이점 추정(GAE)과 호환되며, 기존 RL 파ip라인에 통합할 수 있다.

실험 결과

연구 질문

• RQ1 시간 스케일에 특화된 구성요소로 가치 함수를 분해하면 밀도 높은 보상 환경에서 학습 성능 향상에 기여하는가?
• RQ2 각각의 델타 추정기 Wz를 독립적으로 학습시키는 것이 표준 TD 학습보다 더 빠른 수렴과 낮은 분산을 이끌어내는가?
• RQ3 이 분해 방식은 다양한 시간 범위에서 정책 행동의 해석 가능성을 지원하는가?
• RQ4 기본 설정의 할인 인자 γz 시퀀스를 사용하는 등 최소한의 초모수 조정으로 성능 향상이 어느 정도 달성될 수 있는가?
• RQ5 TD(Δ)는 언제든지 부분 결과를 사용할 수 있는 '임의 시간 알고리즘'(anytime algorithm)으로 사용될 수 있는가?

주요 결과

• TD(Δ)는 밀도 높은 보상 Atari 환경에서 표준 TD 학습보다 일관된 성능 향상을 달성하며, 특히 각 델타 추정기에서 k단계 수익을 사용할 경우 더욱 두드러진다.
• 이 방법은 짧은 수평선 구성요소의 수렴 속도를 높이며, 이는 더 긴 수평선 구성요소의 학습을 부스팅함으로써 전체 학습 효율성을 향상시킨다.
• 기본 설정의 γz 시퀀스(예: 효과적인 수평선을 두 배로 늘림)를 사용하면 추가 조정 없이도 대부분의 테스트 Atari 게임에서 성능 향상을 달성한다.
• 이 분해 방식은 개별 Wz 구성요소를 분석함으로써 정책 행동을 해석할 수 있도록 하여, 궤적에서 조밀한 보상이 언제 그리고 어떻게 도달되는지를 드러낸다.
• TD(Δ)는 구성요소별 적응형 초모수 조정을 지원하며, γz, kz, λz 값에 대한 타겟된 조정을 통해 추가적인 성능 향상이 가능하다.
• 이 방법은 TD(λ) 및 GAE와 호환되며, 실험 결과 표준 RL 벤치마크에서 더 높은 샘플 효율성과 수익을 보였다.