[논문 리뷰] Reconciling $\lambda$-Returns with Experience Replay

Brett Daley, Christopher Amato|arXiv (Cornell University)|2018. 10. 23.

Reinforcement Learning in Robotics참고 문헌 39인용 수 4

한 줄 요약

이 논문은 최근 전이를 캐시하고 공유된 Q-값을 사용해 $λ$-리턴을 사전에 계산함으로써, 리플레이 기반 딥 강화학습에 $λ$-리턴을 효율적으로 통합하는 방법을 제안한다. 이 방법은 동적 $λ$-값 적응 및 진정한 TD 오차 기반 우선순위 할당을 통해 안정적이고 샘플 효율적인 학습을 가능하게 하며, 부분 관측 환경에서 Atari 2600 게임에서 DQN 성능을 향상시킨다.

ABSTRACT

Modern deep reinforcement learning methods have departed from the incremental learning required for eligibility traces, rendering the implementation of the $\lambda$-return difficult in this context. In particular, off-policy methods that utilize experience replay remain problematic because their random sampling of minibatches is not conducive to the efficient calculation of $\lambda$-returns. Yet replay-based methods are often the most sample efficient, and incorporating $\lambda$-returns into them is a viable way to achieve new state-of-the-art performance. Towards this, we propose the first method to enable practical use of $\lambda$-returns in arbitrary replay-based methods without relying on other forms of decorrelation such as asynchronous gradient updates. By promoting short sequences of past transitions into a small cache within the replay memory, adjacent $\lambda$-returns can be efficiently precomputed by sharing Q-values. Computation is not wasted on experiences that are never sampled, and stored $\lambda$-returns behave as stable temporal-difference (TD) targets that replace the target network. Additionally, our method grants the unique ability to observe TD errors prior to sampling; for the first time, transitions can be prioritized by their true significance rather than by a proxy to it. Furthermore, we propose the novel use of the TD error to dynamically select $\lambda$-values that facilitate faster learning. We show that these innovations can enhance the performance of DQN when playing Atari 2600 games, even under partial observability. While our work specifically focuses on $\lambda$-returns, these ideas are applicable to any multi-step return estimator.

연구 동기 및 목표

• 비동기 업데이트나 기타 분리 기법에 의존하지 않고, 랜덤 샘플링이 점진적 유인 추적 계산을 방해하는 오프-폴리시 딥 강화학습에서 $λ$-리턴과 리플레이의 부적합성을 해결하기 위해.
• 비동기 업데이트나 다른 분리 기법에 의존하지 않고, 리플레이 기반 방법에서 $λ$-리턴을 낭비 없이 효율적으로 계산할 수 있도록 하기 위해.
• 대체 지표가 아닌 진정한 시간차분 오차를 기반으로 전이를 우선순위 할당하여 샘플 효율성을 향상시키기 위해.
• 학습 동역학에 따라 적응하는 동적 $λ$-값 선택을 통해 빠른 수렴을 가능하게 하기 위해.
• 부분 관측 환경에서도 $λ$-리턴을 효과적으로 사용할 수 있으며, 도전적인 RL 벤치마크에서 성능 향상을 보일 수 있도록 하기 위해.

제안 방법

• 리플레이 메모리 내에 작은 캐시를 두어 최근 전이를 저장함으로써, 공유된 Q-값 추정치를 재사용하여 인접한 $λ$-리턴을 효율적으로 계산할 수 있도록 한다.
• $λ$-리턴은 사전에 계산되어 리플레이 버퍼에 저장되며, 타겟 네트워크가 필요 없이 안정적인 시간차분(TD) 타겟으로 기능한다.
• 샘플링될 가능성이 높은 경험들에 한해 계산을 제한함으로써 낭비적인 재계산을 방지한다.
• 샘플링 이전에 TD 오차를 관찰할 수 있어, 대체 지표가 아닌 실제 학습의 중요도 기반으로 우선순위 할당이 가능하다.
• TD 오차의 크기를 이용해 실시간으로 $λ$를 조정하는 새로운 동적 $λ$-값 선택 메커니즘을 도입하여 학습 속도를 가속화한다.
• 이 프레임워크는 $λ$-리턴에 국한되지 않고, 어떤 다단계 리턴 추정기에도 일반화 가능하다.

실험 결과

연구 질문

• RQ1 $λ$-리턴을 비동기 업데이트나 추가적인 분리 기법에 의존하지 않고 리플레이 기반 딥 강화학습에서 효율적으로 계산할 수 있는가?
• RQ2 공유된 Q-값을 활용하면서도 중복 계산을 방지할 수 있도록 $λ$-리턴을 사전에 계산하고 저장할 수 있는가?
• RQ3 진정한 TD 오차를 사용해 경험 리플레이의 전이를 우선순위 할당할 수 있는가? 이는 대체 지표를 넘어서 샘플 효율성을 향상시킬 수 있는가?
• RQ4 TD 오차 크기를 기반으로 한 동적 $λ$-값 적응이 더 빠른 학습과 향상된 성능을 이끌 수 있는가?
• RQ5 이 방법이 부분 관측 환경, 예를 들어 Atari 2600 게임에서 성능 향상에 얼마나 기여할 수 있는가?

주요 결과

• 제안된 방법은 비동기 업데이트나 타겟 네트워크 없이도 $λ$-리턴을 실용적으로 리플레이 기반 강화학습에 통합할 수 있으며, 낭비가 적은 안정적인 학습을 달성한다.
• 사전에 계산된 $λ$-리턴은 안정적인 TD 타겟으로 기능하여 타겟 네트워크가 필요 없게 하며, 학습 안정성을 향상시킨다.
• 실제 TD 오차 크기를 기반으로 전이를 우선순위 할당할 수 있어, 대체 지표 기반 방법보다 더 효과적인 샘플 활용이 가능하다.
• TD 오차 기반 동적 $λ$-값 선택은 Atari 2600 게임에서 더 빠른 학습과 향상된 성능을 이끌어낸다.
• 이 방법은 부분 관측 환경에서도 DQN 성능을 향상시켜, 도전적인 환경에서의 강건성을 입증한다.
• 이 프레임워크는 일반적이며, $λ$-리턴에 국한되지 않고 어떤 다단계 리턴 추정기에도 적용 가능하여, 그 유용성을 $λ$-리턴을 초월해 확장한다.