[논문 리뷰] Revisiting Fundamentals of Experience Replay

William Fedus, Prajit Ramachandran외 5명|arXiv (Cornell University)|2020. 07. 13.

Smart Grid Energy Management인용 수 83

한 줄 요약

이 논문은 Q-학습의 경험 재생을 체계적으로 분석하여 더 큰 재생 용량이 일부 알고리즘(특히 n-step 반환을 사용하는 Rainbow)의 성능을 개선할 수 있음을 보이고, 재생 비율과 데이터의 연령이 결정적임을 보여준다. 또한 n-step 반환이 더 큰 재생 버퍼의 이익을 가능하게 하는 독특한 원인을 제공하며, 매우 오프정책/오프라인과 같은 설정에서도 그렇습니다.

ABSTRACT

Experience replay is central to off-policy algorithms in deep reinforcement learning (RL), but there remain significant gaps in our understanding. We therefore present a systematic and extensive analysis of experience replay in Q-learning methods, focusing on two fundamental properties: the replay capacity and the ratio of learning updates to experience collected (replay ratio). Our additive and ablative studies upend conventional wisdom around experience replay -- greater capacity is found to substantially increase the performance of certain algorithms, while leaving others unaffected. Counterintuitively we show that theoretically ungrounded, uncorrected n-step returns are uniquely beneficial while other techniques confer limited benefit for sifting through larger memory. Separately, by directly controlling the replay ratio we contextualize previous observations in the literature and empirically measure its importance across a variety of deep RL algorithms. Finally, we conclude by testing a set of hypotheses on the nature of these performance benefits.

연구 동기 및 목표

• 학습 성능에 대한 재생 버퍼의 재생 용량과 데이터 연령의 영향을 구분해 밝히기.
• 더 큰 재생 버퍼에서 성능 이점을 가능하게 하는 알고리즘 구성 요소를 규명하기.
• Rainbow를 넘어 다른 Q-학습 변형(DQN 등)으로 일반화되는지 평가하기.
• n-step 반환과 재생 용량 및 오프정책 데이터 간의 연관 메커니즘 조사하기.
• 오프라인/배치 RL 설정에 대한 시사점과 분산 감소 가능성에 대한 설명 탐구하기.

제안 방법

• 재생 용량(버퍼 크기)과 가장 오래된 정책의 연령(오프정책성)을 정의하고 측정하기.
• 데이터 흐름과 학습 업데이트를 분리하기 위해 환경 한 개전이당 그래디언트 업데이트 수로 재생 비율을 도입하기.
• Rainbow를 기본 에이전트로 삼아 재생 용량과 가장 오래된 정책을 격자적으로 변화시키며 대규모 Atari 실험을 수행하기.
• 구성 요소(PER, n-step 반환, Adam, C51)를 추가/제거하여 재생 용량 이익에 대한 영향력을 분리하는 가감 연구를 수행하기.
• 온라인 변형(DQN, Rainbow)과 오프라인/배치 RL 설정을 비교하여 연구 결과의 견고성을 평가하기.

실험 결과

연구 질문

• RQ1 재생 용량과 재생 버퍼 내 전환의 연령이 학습 성능에 각각 어떤 영향을 독립적으로 미치는가?
• RQ2 Rainbow의 어떤 구성 요소가 더 큰 재생 버퍼에서의 성능 향상을 가능하게 하며, n-step 반환이 독특하게 책임지는가?
• RQ3 발견이 DQN과 같은 다른 Q-학습 변형으로 일반화되며, 오프라인/배치 RL 설정에서도 성립하는가?
• RQ4 왜 n-step 반환이 더 큰 재생에서 이익을 가능하게 하는지 설명하는 메커니즘(예: 분산 감소, 오프정책성)은 무엇인가?
• RQ5 대규모, 오프정책 딥 RL 에이전트의 재생 데이터 생성 설계에 대한 실제적 시사점은 무엇인가?

주요 결과

• 일반적으로 oldest-policy 연령이 커지도록 허용할 때 재생 용량을 늘리면 Atari 게임 전반에서 성능이 개선된다.
• 가장 오래된 정책의 연령을 줄여(on-policy 데이터를 늘리는 것)도 재생 버퍼가 더 큰 경우 특히 성능이 개선되는 경향이 있다.
• n-step 반환은 더 큰 재생 용량으로부터 이익을 얻는 데 독특하게 중요하며, n-step를 제거하면 더 큰 버퍼의 이익을 얻지 못한다.
• DQN은 더 큰 재생 버퍼의 이익을 보지 못하는 반면 Rainbow(n-step 포함)은 이익을 보이므로 상호작용이 아키텍처에 의존함을 시사한다.
• 오프라인/배치 RL에서 n-step 반환(n>1)을 사용하면 매우 오프정책 데이터에서도 성능이 향상되어 다중 단계 반환의 더 넓은 관련성을 뒷받침한다.
• 사전 경험 재생(PER)이 연구된 설정에서 큰 메모리의 이익을 크게 주도하지 않는다는 점은 일부 기대와 다르다.