[논문 리뷰] Multi-Batch Experience Replay for Fast Convergence of Continuous Action Control.

Seungyul Han, Youngchul Sung|arXiv (Cornell University)|2017. 10. 12.

Reinforcement Learning in Robotics참고 문헌 12인용 수 5

한 줄 요약

이 논문은 연속 제어 작업에서 오프-정책 액터-크리틱 강화 학습을 위한 다중 배치 경험 재생 방법을 제안하며, 유의미한 편향을 유발하지 않으면서 샘플 효율성을 향상시키고 PPO 유사 알고리즘의 수렴 속도를 가속화한다. 이 방법은 다양한 연속 제어 환경에서 학습 속도와 최종 성능을 향상시킨다.

ABSTRACT

Policy gradient methods for direct policy optimization are widely considered to obtain optimal policies in continuous Markov decision process (MDP) environments. However, policy gradient methods require exponentially many samples as the dimension of the action space increases. Thus, off-policy learning with experience replay is proposed to enable the agent to learn by using samples of other policies. Generally, large replay memories are preferred to minimize the sample correlation but large replay memories can yield large bias or variance in importance-sampling-based off-policy learning. In this paper, we propose a multi batch experience replay scheme suitable for off-policy actor-critic-style policy gradient methods such as the proximal policy optimization (PPO) algorithm, which maintains the advantages of experience replay and accelerates learning without causing large bias. To demonstrate the superiority of the proposed method, we apply the proposed experience replay scheme to the PPO algorithm and various continuous control tasks. Numerical results show that our algorithm converges faster and closer to the global optimum than other policy gradient methods.

연구 동기 및 목표

• 고차원의 연속 동작 공간에 대한 정책 기반 강화 학습의 느린 수렴 문제를 해결하기 위해.
• 오프-정책 학습을 위한 중요도 샘플링에서 편향을 최소화하면서 경험 재생의 샘플 상관관계를 줄이기 위해.
• 정책 최적화의 안정성을 해치지 않으면서 오프-정책 액터-크리틱 방법(예: PPO)의 학습을 가속화하기 위해.
• 큰 재생 메모리의 이점을 유지하면서도 오프-정책 업데이트에서 분산과 편향을 최소화하기 위해.

제안 방법

• 이 방법은 경험 전이를 배치 단위로 조직하여 더 효율적인 샘플링과 훈련을 가능하게 하는 다중 배치 경험 재생 체계를 도입한다.
• 다양한 과거 정책의 전이를 재사용함으로써 오프-정책 학습을 가능하게 하여 데이터 효율성을 향상시킨다.
• 시간적 일관성을 유지하는 방식으로 배치로 구성된 방식을 통해 큰 재생 버퍼를 유지하면서도 편향을 방지한다.
• 중요도 샘플링을 사용한 분산 감소를 통해 안정적이고 효율적인 정책 업데이트를 허용하는 PPO 알고리즘에 이 방법을 통합한다.
• 배치 기반의 재생 구조는 각 정책 업데이트 동안 경험 데이터를 더 효과적으로 활용할 수 있게 하여 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 다중 배치 경험 재생 체계는 연속 제어 작업에서 학습 수렴 속도를 향상시킬 수 있는가?
• RQ2 제안된 방법은 기존의 경험 재생에 비해 중요도 샘플링의 편향과 분산을 줄이는가?
• RQ3 기존의 재생 방식과 비교할 때 다중 배치 접근법은 최종 정책 성능과 샘플 효율성 측면에서 어떻게 성과를 내는가?
• RQ4 이 방법은 안정적인 학습을 해치지 않도록 PPO에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 방법은 연속 제어 작업에서 표준 경험 재생 및 기타 정책 기반 강화 학습 기준보다 더 빠른 수렴을 달성한다.
• 기존의 오프-정책 방법보다 더 전역 최적해에 가까이 수렴함으로써 최적화 안정성이 향상됨을 시사한다.
• 다중 배치 설계는 샘플 상관관계를 효과적으로 줄이면서 중요도 샘플링의 편향을 낮게 유지한다.
• 다양한 연속 제어 환경에서의 실험 결과는 모든 테스트 작업에서 일관된 성능 향상을 보여준다.