[논문 리뷰] The Reactor: A fast and sample-efficient Actor-Critic agent for Reinforcement Learning

Audrūnas Gruslys, Will Dabney외 4명|arXiv (Cornell University)|2017. 04. 15.

Reinforcement Learning in Robotics인용 수 28

한 줄 요약

Reactor는 분포학적 Retrace를 사용한 다단계 비정책 분포학적 학습, 분산을 줄이는 데 새로운 $β$-LOO 정책 기울기 방법, 그리고 시간적 국소성을 활용하는 우선순위 재생 메커니즘을 결합한 빠르고 샘플 효율적인 액터-크리틱 강화학습 에이전트이다. 200만 프레임 이내로 57개의 Atari 2600 게임에서 최신 기준 성능을 달성하며, 샘플 효율성과 시간 효율성 면에서 이전의 방법들인 Rainbow와 A3C를 능가한다.

ABSTRACT

In this work we present a new agent architecture, called Reactor, which combines multiple algorithmic and architectural contributions to produce an agent with higher sample-efficiency than Prioritized Dueling DQN (Wang et al., 2016) and Categorical DQN (Bellemare et al., 2017), while giving better run-time performance than A3C (Mnih et al., 2016). Our first contribution is a new policy evaluation algorithm called Distributional Retrace, which brings multi-step off-policy updates to the distributional reinforcement learning setting. The same approach can be used to convert several classes of multi-step policy evaluation algorithms designed for expected value evaluation into distributional ones. Next, we introduce the \\b{eta}-leave-one-out policy gradient algorithm which improves the trade-off between variance and bias by using action values as a baseline. Our final algorithmic contribution is a new prioritized replay algorithm for sequences, which exploits the temporal locality of neighboring observations for more efficient replay prioritization. Using the Atari 2600 benchmarks, we show that each of these innovations contribute to both the sample efficiency and final agent performance. Finally, we demonstrate that Reactor reaches state-of-the-art performance after 200 million frames and less than a day of training.

연구 동기 및 목표

• 고샘플 효율성과 낮은 벽시계 훈련 시간을 달성하는 강화학습 에이전트를 개발하는 것.
• 비정책, 다단계, 분포학적 학습을 심층 액터-크리틱 프레임워크에 통합하는 것.
• 정책 기울기 추정을 향상시키기 위해 행동가치 추정치를 기준선으로 사용하여 분산을 줄이는 것.
• 전이 시퀀스의 시간적 국소성을 활용하는 새로운 우선순위 재생 메커니즘을 설계하는 것.
• 최소한의 훈련 시간과 샘플 복잡도로 Atari 2600 벤치마크에서 최신 기준 성능을 입증하는 것.

제안 방법

• 분포학적 Retrace($\lambda$)를 도입하여, 분포학적 강화학습을 위한 다단계 비정책 알고리즘을 개발하며, Retrace를 확장하여 가치 분포를 학습한다.
• $β$-LOO(한 개를 제외한 평균) 정책 기울기 방법을 제안하여 행동가치 추정치를 기준선으로 사용함으로써 정책 기울기 추정의 분산을 줄인다.
• 시간적 근접성과 수익 추정치를 기반으로 전이를 우선순위화하여 샘플 효율성을 향상시키는 문맥 기반 우선순위 재생 메커니즘을 개발한다.
• 가치 및 이점 추정을 위한 별도의 헤드를 갖춘 심층 신경망 아키텍처를 사용하며, 타겟 네트워크와 경험 재생을 통합한다.
• 여러 개의 액터에서 비동기적으로 훈련을 수행하고 파라미터 서버를 활용하여 높은 훈련 처리량과 낮은 벽시계 시간을 달성한다.
• 비정책 수익 추정을 위해 Retrace를 적용하여, 목표 정책와 다를 수 있는 행동 정책로부터 수집된 경험을 안정적으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 분포학적 강화학습 에이전트는 고샘플 효율성과 낮은 벽시계 훈련 시간을 동시에 달성할 수 있는가?
• RQ2 정책 기울기 추정에서 행동가치 추정치를 기준선으로 사용할 경우 분산과 성능에 어떤 영향을 미치는가?
• RQ3 재생 우선순위화에서 시간적 국소성을 활용할 경우 순차적 의사결정 과제에서 샘플 효율성이 얼마나 향상되는가?
• RQ4 비정책 학습과 분포학적 수익을 갖춘 하이브리드 액터-크리틱 아키텍처는 Atari 2600에서 기존 최신 기준 에이전트를 능가할 수 있는가?
• RQ5 Reactor 아키텍처의 개별 구성 요소들이 샘플 효율성과 훈련 속도 측면에서 최종 성능에 기여하는 정도는 어떠한가?

주요 결과

• 20000만 프레임 훈련 후 Reactor는 57개의 Atari 2600 게임에서 평균 인간 정규화 점수 1.65와 평균 순위 4.58를 기록하여, Rainbow와 A3C를 포함한 모든 이전 방법을 능가했다.
• 50000만 프레임과 4일간의 훈련을 거친 후 Reactor는 평균 인간 정규화 점수 1.82와 평균 순위 3.65를 기록했으며, No-op 시작 설정에서 조차 Rainbow를 초월했다.
• 랜덤 인간 시작 설정에서 평가했을 때, 분포학적 버전의 Reactor는 비분포학적 버전보다 더 잘 일반화되었으며, 더 높은 내구성을 보였다.
• $β$-LOO 정책 기울기 방법은 최종 성능과 안정성 측면에서 TISLR 기준선보다 뚜렷이 뛰어났다.
• 우선순위 재생이 가장 큰 영향을 미쳤지만, 분포학적 Retrace, $β$-LOO, 문맥 기반 재생 모두 샘플 효율성과 최종 성능에 의미 있는 기여를 했다.
• Reactor는 1일 이내로 최신 기준 성능을 달성하여, DQN과 Rainbow와 같은 이전 방법들에 비해 시간 효율성 면에서 뚜렷한 향상을 보였다.