[논문 리뷰] Off-Policy Actor-Critic with Shared Experience Replay

Simon Schmitt, Matteo Hessel외 1명|arXiv (Cornell University)|2019. 09. 25.

Reinforcement Learning in Robotics참고 문헌 39인용 수 4

한 줄 요약

이 논문은 공유된 대규모 경험 재생을 사용하여 최신 기준의 데이터 효율성을 달성하는 오프-정책 액터-크리틱 강화학습 에이전트인 LASER를 제안한다. 온-정책 경험과 재생된 경험을 혼합하고 신뢰 영역 기반 기법을 적용함으로써 LASER는 강한 오프-정책 설정에서도 안정적이고 높은 샘플 효율성 학습을 가능하게 하며, 2억 개 환경 단계에서 57종의 Atari 게임에서 인간 기준 점수의 448%를 기록한다.

ABSTRACT

We investigate the combination of actor-critic reinforcement learning algorithms with uniform large-scale experience replay and propose solutions for two challenges: (a) efficient actor-critic learning with experience replay (b) stability of off-policy learning where agents learn from other agents behaviour. We employ those insights to accelerate hyper-parameter sweeps in which all participating agents run concurrently and share their experience via a common replay module. To this end we analyze the bias-variance tradeoffs in V-trace, a form of importance sampling for actor-critic methods. Based on our analysis, we then argue for mixing experience sampled from replay with on-policy experience, and propose a new trust region scheme that scales effectively to data distributions where V-trace becomes unstable. We provide extensive empirical validation of the proposed solution. We further show the benefits of this setup by demonstrating state-of-the-art data efficiency on Atari among agents trained up until 200M environment frames.

연구 동기 및 목표

• 경험 재생을 사용할 때 오프-정책 액터-크리틱 학습에서 발생하는 불안정성과 수렴 불량 문제를 해결한다.
• 다양한 에이전트가 공통의 경험 재생 버퍼를 공유함으로써 딥 강화학습의 데이터 효율성을 향상시킨다.
• 오프-정책 설정에서 V-trace의 한계를 분석함으로써 분산-편향 트레이드오프 문제를 해결한다.
• 강한 오프-정책 샘플링 조건에서도 정책 향상을 보장하는 신뢰 영역 기반 기법을 개발한다.
• 온-정책 경험과 재생된 경험을 혼합하는 것이 수렴성과 성능 향상에 필수적임을 입증한다.

제안 방법

• V-trace의 편향을 줄이기 위해 공유된 재생 버퍼에서 옵티멀한 경험과 오프-정책 경험을 혼합하는 하이브리드 학습 전략을 제안한다.
• 정책 공간에서의 업데이트를 제약하여 안정성을 유지하고 정책 향상을 보장하는 신뢰 영역 기반 기법을 도입한다.
• 오프-정책 보정을 위해 중요도 샘플링을 사용한 V-trace를 사용하지만, 온-정책 혼합과 신뢰 영역 제약 조건을 통해 편향을 완화한다.
• 다양한 에이전트 간에 공유된 재생 버퍼를 구현하여 병렬 탐색을 가능하게 하고 메모리 사용량을 줄인다.
• 공유된 환경에서 에이전트별 메트릭 갈등을 방지하기 위해 우선순위 기반 재생 대신 균일한 경험 재생을 적용한다.
• 공유된 경험을 기반으로 인구 기반 학습(PBT)을 사용하여 효율적인 하이퍼파rameter 스윕을 수행한다.

실험 결과

연구 질문

• RQ1 경험 재생을 사용하는 오프-정책 액터-크리틱 학습이 온-정책 경험 없이 局소 최적 정책에 수렴할 수 있는가?
• RQ2 온-정책 경험과 오프-정책 경험을 혼합하는 것이 오프-정책 액터-크리틱 방법에서 V-trace의 안정성과 성능에 미치는 영향는 어떠한가?
• RQ3 공동 경험 재생이 병렬 하이퍼파rameter 스윕에서 데이터 효율성과 학습 속도에 미치는 영향는 어떠한가?
• RQ4 신뢰 영역 기반 기법이 V-trace가 불안정해지는 강한 오프-정책 환경에서 학습을 안정화시킬 수 있는가?
• RQ5 다중 에이전트 공유 재생 환경에서 균일한 경험 재생이 우선순위 기반 재생보다 우월한가?

주요 결과

• 온-정책 경험과 재생된 경험을 혼합하면 성능 향상이著しく 향상되고 수렴성이 보장되며, 순수한 오프-정책 V-trace는 최적의 가치 함수가 있음에도 불구하고 수렴하지 못함을 확인했다.
• 공유된 경험 재생을 사용한 LASER는 2억 개 환경 단계에서 57종의 Atari 게임에서 인간 기준 점수의 448%를 기록했으며, 이는 이전 방법이 30억 단계 이상을 필요로 하여 400%를 초과하는 데에 못 미친다.
• 최적의 성능는 1,000만 개의 재생 버퍼와 87.5%의 재생 비율(7:1의 재생 대 온라인 비율)에서 달성되었으며, 이는 중간 크기의 재생 용량으로도 높은 데이터 효율성을 달성함을 시사한다.
• 10개의 에이전트가 동시에 학습하는 환경에서 공유된 경험 재생은 메모리 사용량을 10배 줄였으며(1억에서 1,000만으로), 병렬 탐색과 더 빠른 하이퍼파rameter 스윕을 가능하게 했다.
• 신뢰 영역 기반 기법은 강한 오프-정책 환경에서도 안정적인 학습을 가능하게 하여, 공유된 경험을 사용하는 비-신뢰 영역 기반 기준보다 뛰어난 성능을 기록했다.
• LASER는 100억 단계에서 DMLab-30에서 중앙값 기준 인간 기준 점수의 97.2%를 기록하여 강력한 다중 작업 일반화 능력과 효율성을 입증했다.