[논문 리뷰] A Deeper Look at Experience Replay

Shangtong Zhang, Richard S. Sutton|arXiv (Cornell University)|2017. 12. 04.

Reinforcement Learning in Robotics참고 문헌 12인용 수 185

한 줄 요약

이 논문은 재생 버퍼 크기가 표 형식(tabular), 선형(linear), 비선형(non-linear) 함수 근사기에 걸친 학습에 어떤 영향을 미치는지 체계적으로 분석하고, 큰 버퍼가 성능을 악화시킬 수 있음을 보여주며, 이 효과를 완화하기 위한 간단한 O(1) CER 해결책을 도입한다.

ABSTRACT

Recently experience replay is widely used in various deep reinforcement learning (RL) algorithms, in this paper we rethink the utility of experience replay. It introduces a new hyper-parameter, the memory buffer size, which needs carefully tuning. However unfortunately the importance of this new hyper-parameter has been underestimated in the community for a long time. In this paper we did a systematic empirical study of experience replay under various function representations. We showcase that a large replay buffer can significantly hurt the performance. Moreover, we propose a simple O(1) method to remedy the negative influence of a large replay buffer. We showcase its utility in both simple grid world and challenging domains like Atari games.

연구 동기 및 목표

• 재생 버퍼 크기가 다른 함수 표현(Tabular, Linear, Non-linear)에서 학습에 어떤 영향을 미치는지 평가.
• 대형 재생 버퍼가 성능을 저하시키는 조건을 규명.
• 추가 계산 부담 없이 대형 재생 버퍼의 부정적 효과를 완화하는 저비용 방법을 제안.
• 간단하고 도전적인 도메인(grid world, Lunar Lander, Atari Pong)에서 CER를 평가.

제안 방법

• Online-Q, Buffer-Q, 그리고 Combined-Q (CER)를 세 가지 과제에서 비교.
• CER가 각 학습 배치에 최신 전이 정보를 추가하는 재생 버퍼의 균일 샘플링을 사용.
• 재생 버퍼 크기를 varying하게(예: 10^2에서 10^6) 평가하고 고정 미니배치 크기를 사용.
• 적절한 최적화 기법으로 표 형식, 타일 인코딩 선형, 신경망 함수 근사기를 적용.
• 비선형 설정에서는 안정성을 위해 DQN과 유사한 타깃 네트워크를 사용.
• 타임아웃 및 부분 에피소드 부트스트랩을 사용하여 타임아웃 바이어스를 줄임.

실험 결과

연구 질문

• RQ1 재생 버퍼의 크기가 서로 다른 함수 표현(Tabular, Linear, Non-linear)에서 학습 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ2 간단하고 상수 시간 수정(CER)으로 재생 버퍼의 대형 크기가 가지는 부정적 영향을 감소시킬 수 있는가?
• RQ3 CER의 이점이 Grid World, Lunar Lander, Pong 과제에서 다양한 함수 근사기와 함께 지속되는가?

주요 결과

• 대형 재생 버퍼는 표 형식(tabular)과 선형 설정에서 학습을 느리게 하거나 성능을 저하시킬 수 있다.
• CER는 재생 버퍼 크기에 대한 학습 민감도를 낮추고 대형 버퍼 구간에서 속도 회복을 가능하게 한다.
• 비선형 함수 근사에서는 CER가 대형 버퍼로 인한 학습 속도를 높이고 최근 전이에 대한 과적합을 줄이는 효과를 보인다.
• 일부 과제(Pong)에서 CER의 개선이 제한적이며, 과제 난이도와 표현 방식이 CER의 이점에 영향을 미친다.
• 도메인 전반에 걸쳐 CER 없이 보이는 중간 크기의 버퍼가 매우 큰 버퍼보다 우수한 경우가 있다.
• CER은 계산이 O(1)만 필요하고 간단한 플러그인 개선으로 작동한다.