[논문 리뷰] The Effects of Memory Replay in Reinforcement Learning

Ruishan Liu, James Zou|arXiv (Cornell University)|2017. 10. 18.

Reinforcement Learning in Robotics참고 문헌 14인용 수 6

한 줄 요약

이 논문은 Q-학습에서 경험 재생을 분석하기 위해 동적 시스템 ODE 모델을 개발하며, 메모리 버퍼 크기가 학습 속도에 비단조화적인 영향을 미친다는 것을 밝혀내었다—너무 적거나 너무 많은 메모리는 학습을 느리게 한다. 또한 우선순위 기반 재생이 성능을 저해할 수 있음을 보여주며, 학습 일관성을 향상시키기 위한 적응형 메모리 버퍼 알고리즘을 제안한다.

ABSTRACT

Experience replay is a key technique behind many recent advances in deep reinforcement learning. Allowing the agent to learn from earlier memories can speed up learning and break undesirable temporal correlations. Despite its wide-spread application, very little is understood about the properties of experience replay. How does the amount of memory kept affect learning dynamics? Does it help to prioritize certain experiences? In this paper, we address these questions by formulating a dynamical systems ODE model of Q-learning with experience replay. We derive analytic solutions of the ODE for a simple setting. We show that even in this very simple setting, the amount of memory kept can substantially affect the agent's performance. Too much or too little memory both slow down learning. Moreover, we characterize regimes where prioritized replay harms the agent's learning. We show that our analytic solutions have excellent agreement with experiments. Finally, we propose a simple algorithm for adaptively changing the memory buffer size which achieves consistently good empirical performance.

연구 동기 및 목표

• 경험 재생의 핵심 기법인 메모리 버퍼 크기가 딥 강화 학습에서 학습 동역학에 어떻게 영향을 미치는지 이해하기 위해.
• 우선순위 기반 경험 재생이 항상 학습을 향상시키는지 아니면 특정 조건에서 성능을 떨어뜨릴 수 있는지 조사하기 위해.
• 학습에서 오버슈팅과 가중치 갱신 속도 사이의 상충 관계를 포착하는 이론적 모델을 개발하기 위해.
• 실험을 통해 이론적 예측을 검증하고 실용적인 적응형 메모리 버퍼 알고리즘을 도출하기 위해.

제안 방법

• 경험 재생이 포함된 연속 시간 ODE 모델을 제안하여 Q-학습의 학습 동역학을 분석한다.
• 메모리 크기의 영향을 정량화하기 위해 단순한 이중 매개변수 설정에서 ODE의 해석적 해를 유도한다.
• 부족한 메모리로 인한 오버슈팅과 과도한 메모리로 인한 느린 가중치 갱신 사이의 상충 관계 분석을 도입한다.
• 우선순위 기반 경험 재생을 포함한 모델을 확장하고 수렴 속도에 미치는 영향을 분석한다.
• 다양한 메모리 크기와 배치 크기를 사용한 실험을 통해 이론적 예측을 검증한다.
• 학습 중에 버퍼 크기를 동적으로 조정하여 최적의 성능을 유지하는 적응형 경험 재생(aER) 알고리즘을 제안한다.

실험 결과

연구 질문

• RQ1 경험 재생 버퍼의 크기가 Q-학습에서 학습 속도와 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 우선순위 기반 경험 재생은 항상 학습을 향상시키는가, 아니면 특정 조건에서 성능을 떨어뜨릴 수 있는가?
• RQ3 메모리 크기가 경험 재생의 학습 동역학에 영향을 미치는 기본 메커니즘은 무엇인가?
• RQ4 메모리 크기의 비단조화적 영향이 연속 동역학 시스템 모델로 포착되고 설명될 수 있는가?
• RQ5 다양한 학습 환경에서 높은 성능을 유지하기 위한 적응형 메모리 버퍼 크기 전략을 설계할 수 있는가?

주요 결과

• 메모리 버퍼 크기는 학습 속도에 비단조화적인 영향을 미친다: 너무 적거나 너무 많은 메모리는 학습을 느리게 하며, 연구에서 고려된 설정에서 최적 크기는 약 250이다.
• 메모리 크기와 배치 크기가 작을 경우 우선순위 기반 재생이 오버슈팅을 악화시키고 가중치 갱신을 불안정하게 만들면서 학습을 해칠 수 있다.
• 이론적 ODE 해석적 해는 실험 결과와 뛰어난 일치를 보이며, 모델이 학습 동역학을 예측하는 정확성을 입증한다.
• 이론적 극한에서의 최종 가중치 이탈 Δθ₂는 단방향 상태 이동으로 인해 0이 아닌 값을 가짐으로써, 이론적 극한의 작은 값이 성능에 매우 중요하다는 것을 보여준다.
• 적응형 경험 재생(aER) 알고리즘은 학습 중에 버퍼 크기를 동적으로 조정함으로써 일관되게 학습 성능을 향상시킨다.
• 함수 근사 오차가 존재하지 않을 경우에도 메모리 크기가 학습에 결정적인 영향을 미치며, 이는 데이터 재사용과 시간적 상관성 차단 사이의 비트레이드오프가 비단순하다는 것을 시사한다.