[논문 리뷰] Reconciling $λ$-Returns with Experience Replay

Brett Daley, Christopher Amato|arXiv (Cornell University)|2018. 10. 23.

Stochastic processes and financial applications인용 수 8

한 줄 요약

이 논문은 경험 재생을 사용하는 오프-폴리시 딥 강화 학습에 $λ$-리턴을 효율적으로 통합하기 위한 새로운 방법을 제안한다. 작은 캐시를 활용해 사전 계산된 $λ$-리턴을 사용하여 타겟 네트워크를 대체하고, 사전 샘플링 시 TD 오차 분석을 가능하게 한다. 이 방법은 DQN의 표본 효율성을 향상시켜, 부분 관찰 조건 하에서도 직접적인 진짜 TD 오차 기반 우선순위 할당과 동적 $λ$-값 선택을 가능하게 한다.

ABSTRACT

Modern deep reinforcement learning methods have departed from the incremental learning required for eligibility traces, rendering the implementation of the $λ$-return difficult in this context. In particular, off-policy methods that utilize experience replay remain problematic because their random sampling of minibatches is not conducive to the efficient calculation of $λ$-returns. Yet replay-based methods are often the most sample efficient, and incorporating $λ$-returns into them is a viable way to achieve new state-of-the-art performance. Towards this, we propose the first method to enable practical use of $λ$-returns in arbitrary replay-based methods without relying on other forms of decorrelation such as asynchronous gradient updates. By promoting short sequences of past transitions into a small cache within the replay memory, adjacent $λ$-returns can be efficiently precomputed by sharing Q-values. Computation is not wasted on experiences that are never sampled, and stored $λ$-returns behave as stable temporal-difference (TD) targets that replace the target network. Additionally, our method grants the unique ability to observe TD errors prior to sampling; for the first time, transitions can be prioritized by their true significance rather than by a proxy to it. Furthermore, we propose the novel use of the TD error to dynamically select $λ$-values that facilitate faster learning. We show that these innovations can enhance the performance of DQN when playing Atari 2600 games, even under partial observability. While our work specifically focuses on $λ$-returns, these ideas are applicable to any multi-step return estimator.

연구 동기 및 목표

• 딥 강화 학습에서 $λ$-리턴과 미니배치 경험 재생 간의 상호 호환성 문제를 해결하기 위해.
• 캐시된 사전 계산된 $λ$-리턴 메커니즘을 사용하여 타겟 네트워크 의존도를 제거하기 위해.
• 진짜 TD 오차 크기 기반으로 직접적인 사전 샘플링 우선순위 할당을 가능하게 하여, 대체 지표에 의존하지 않기 위해.
• 오프-폴리시 알고리즘에서 더 빠른 학습을 위해 TD 오차 기반 동적 $λ$-값 선택을 탐색하기 위해.
• 부분 관찰 조건과 표준 재생 설정 하에서 DQN의 표본 효율성과 학습 속도를 향상시키기 위해.

제안 방법

• 재생 버퍼 내에 주기적으로 갱신되는 작은 캐시를 도입하여, 재귀적 계산을 사용해 사전 계산된 $λ$-리턴을 저장한다.
• 안정적인 시간차 대상으로 캐시된 $λ$-리턴을 타겟 네트워크 대신 사용한다.
• 캐시 내 인접한 전이 간에 공유된 Q-값 계산을 활용하여, 최소한의 오버헤드로 효율적으로 $λ$-리턴을 사전 계산한다.
• 전이와 함께 TD 오차를 함께 저장하여, 샘플링 이전에 오차를 관찰할 수 있도록 한다.
• 진짜 TD 오차 크기 기반으로 전이를 우선순위 할당하여, 대체 지표에 의존하지 않는다.
• 학습 중에 TD 오차 크기를 기반으로 동적으로 $λ$-값을 선택하여 학습 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 $λ$-리턴이 비동기 업데이트나 타겟 네트워크 없이 오프-폴리시 딥 RL과 경험 재생에 효율적으로 통합될 수 있는가?
• RQ2 캐시에 사전 계산된 $λ$-리턴을 사용하면 표준 DQN과 타겟 네트워크를 사용하는 경우보다 표본 효율성이 향상되는가?
• RQ3 샘플링 이전에 관찰된 TD 오차가 대체 지표 기반 방법보다 더 효과적인 우선순위 경험 재생을 가능하게 하는가?
• RQ4 TD 오차 기반 동적 $λ$-값 선택이 더 빠른 학습과 향상된 성능을 이끌어내는가?
• RQ5 신용 할당이 더 어려운 부분 관찰 조건에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 테스트한 6개의 Atari 2600 게임 전반에서 $λ$-리턴과 제안된 캐시 메커니즘을 적용한 DQN은 표준 DQN을 능가했으며, $λ = 0.25$ 또는 $0.5$를 사용할 경우 Breakout와 Space Invaders에서 뚜렷한 성능 향상을 보였다.
• 6개 게임 중 5개에서 타겟 네트워크 기반 베이스라인 대비 더 빠른 학습 완료 시간을 기록하여 계산 효율성 향상을 입증했다.
• 진짜 TD 오차 크기 기반 우선순위 할당이 대체 지표 기반 방법보다 더 뛰어난 표본 효율성을 보였으며, 이는 샘플링 이전에 손실 기여도를 직접 관찰할 수 있었기 때문이다.
• 수동 튜닝 없이도 동적 $λ$-값 선택이 모든 환경에서 최적 수동 튜닝 $λ$-값과 동일하거나 이를 초월하는 성능을 달성했다.
• 1프레임 입력 조건인 부분 관찰 조건에서도 성능 향상이 유지되어, 지연되거나 불완전한 상태 정보에 대한 강건성을 입증했다.
• 이 방법은 다중스텝 리턴 추정기로 일반화 가능하며, DQN을 초월한 광범위한 오프-폴리시 알고리즘에 적용 가능하다.