[논문 리뷰] Prioritized Experience Replay

Tom Schaul, John Quan외 2명|arXiv (Cornell University)|2015. 11. 18.

Neural dynamics and brain function참고 문헌 29인용 수 2,034

한 줄 요약

논문은 우선순위 경험 재생(prioritized experience replay)을 도입하여 더 정보가 풍부한 전이(높은 TD-오류)를 샘플링해 학습 효율을 향상시키고, Double DQN과 결합했을 때 학습 속도가 빨라지고 Atari에서의 최첨단 성능을 달성함을 보여준다.

ABSTRACT

Experience replay lets online reinforcement learning agents remember and reuse experiences from the past. In prior work, experience transitions were uniformly sampled from a replay memory. However, this approach simply replays transitions at the same frequency that they were originally experienced, regardless of their significance. In this paper we develop a framework for prioritizing experience, so as to replay important transitions more frequently, and therefore learn more efficiently. We use prioritized experience replay in Deep Q-Networks (DQN), a reinforcement learning algorithm that achieved human-level performance across many Atari games. DQN with prioritized experience replay achieves a new state-of-the-art, outperforming DQN with uniform replay on 41 out of 49 games.

연구 동기 및 목표

• 온라인 강화학습에서 경험 재생의 비효율성과 우선순위화의 잠재적 이점을 제시한다.
• TD-오차를 우선순위 지표로 사용하는 확률적 우선순위 재생 메커니즘을 개발한다.
• 확률적 우선순위화와 중요 샘플링으로 편향 및 다양성 문제를 다룬다.
• Double DQN을 사용하여 Atari 2600 벤치마크에서 확장성과 효과를 입증한다.
• 지도 학습 및 오프 폴리시 시나리오에 대한 확장을 개요한다.

제안 방법

• 전이의 우선순위 p_i를 TD-오차의 크기 |δ_i| 또는 순위 기반 등가물로 정의한다.
• 재생 메모리에서 P(i) ∝ p_i^α 형태로 샘플링하여 정보가 풍부한 경험을 우선하도록 한다(α가 우선순위를 제어한다).
• 다양성을 보존하고 편향을 완화하기 위해 확률적 우선순위를 사용한다.
• 샘플링 편향을 중요 샘플링 가중치 w_i로 보정하고 학습 과정에서 β를 1로 수렴하도록 어닐한다.
• 재생 단계에서 균등 샘플링을 대체하여 Double DQN에 우선순위 재생을 통합한다.
• 대규모 기억에 대한 효율적인 구현(sum-tree 또는 segment-based sampling)을 제공한다.

실험 결과

연구 질문

• RQ1 TD-오류를 기반으로 한 재생의 우선순위화가 균등 재생보다 학습 효율을 향상시키는가?
• RQ2 확률적 우선순위화와 IS 보정이 수렴을 유지하고 함수 근사 영역에서 편향을 줄일 수 있는가?
• RQ3 우선순위 재생이 Double DQN 같은 진보한 RL 구조와 Atari와 같은 도전적 벤치마크에서 어떻게 상호작용하는가?
• RQ4 대규모 응용을 위한 실용적 고려사항(하이퍼파라미터 α, β, 메모리 크기)은 무엇인가?

주요 결과

• 우선순위 재생은 학습 속도를 크게 높이고 Atari 게임에서 성능을 향상시킨다.
• DQN에 우선순위 재생을 추가하면 49개 게임 중 41개에서 개선이 나타나 중앙값 성능이 상승한다.
• 우선순위 재생을 Double DQN과 결합하면 Atari에서 새로운 최첨단 성능을 달성하여 중앙값과 평균 점수를 모두 향상시킨다.
• 순위 기반 우선순위화와 비례 우선순위화는 일반적으로 유사하게 작동하고 균일 재생보다 우수하다.
• 두 가지 변형 모두 강한 성능 도달 시간을 단축하고 느린 초기 학습이 있는 게임에 도움이 된다.
• IS 보정(β)을 어닐하면 편향과 학습 안정성 사이의 균형을 맞춘다.