[논문 리뷰] Rainbow: Combining Improvements in Deep Reinforcement Learning

Matteo Hessel, Joseph Modayil외 8명|arXiv (Cornell University)|2017. 10. 06.

Evolutionary Algorithms and Applications인용 수 427

한 줄 요약

Rainbow는 DQN에 여선 six extensions를 결합하여 57개의 Atari 게임에서 데이터 효율성과 최종 성능 측면에서 상태-오브-더-아트(SOTA) 달성.

ABSTRACT

The deep reinforcement learning community has made several independent improvements to the DQN algorithm. However, it is unclear which of these extensions are complementary and can be fruitfully combined. This paper examines six extensions to the DQN algorithm and empirically studies their combination. Our experiments show that the combination provides state-of-the-art performance on the Atari 2600 benchmark, both in terms of data efficiency and final performance. We also provide results from a detailed ablation study that shows the contribution of each component to overall performance.

연구 동기 및 목표

• DQN 개선 중 어떤 것들이 상호 보완적인지 이해할 필요성을 동기부여한다.
• 여러 확장을 통합했을 때 성능이 조합적으로 증가하는지 조사한다.
• Rainbow의 데이터 효율성과 광범위한 Atari 벤치마크에서의 최종 성능을 정량화한다.
• 각 구성요소의 기여를 식별하기 위한 ablative 분석을 제공한다.

제안 방법

• 여섯 가지 DQN 확장을 하나의 에이전트에 통합한다(Doube Q-learning, Prioritized Replay, Dueling Networks, Multi-step targets, Distributional Q-learning, Noisy Nets).
• 1-step 분포 손실을 다-step 분포 손실로 대체하고 반환 분포에 대해 듀얼링 아키텍처를 사용한다.
• 리플레이를 안내하기 위해 절대 TD 오차가 아닌 KL 손실로 트랜지션의 우선순위를 매긴다.
• 고정된 원자 분포를 가진 분포적 벨먼 업데이트에서 다-step 타깃을 사용한다.
• 탐색을 위해 인수화된 가우시안 노이즈를 가진 Noisy Nets를 사용한다.
• 표준 정규화 및 두 가지 테스트 regime로 57개의 Atari 2600 게임을 평가하고 각 구성요소에 대한 ablation을 수행한다.

실험 결과

연구 질문

• RQ1 여섯 가지 DQN 확장이 하나의 에이전트로 결합될 때 서로 보완되는가?
• RQ2 게임 및 학습 단계 전반에 걸쳐 Rainbow 성능에 각 구성요소의 기여는 무엇인가?
• RQ3 Atari 모음에서 데이터 효율성과 최종 성능 면에서 Rainbow가 기존 기준선과 비교해 어떤 차이가 있는가?

주요 결과

• Rainbow는 데이터 효율성과 최종 성능 면에서 57개 Atari 게임에서 최첨단 성능을 달성한다.
• Rainbow는 7M 프레임 이후 DQN의 최종 성능에 도달하며 다른 기준선보다 44M 프레임 이내에 우위를 보인다.
• Rainbow는 완전 학습 시 no-ops 규칙에서 중앙값 인간-정규화 점수가 223%이고 human-starts 규칙에서 153%이다.
• Ablation 연구에서 우선순위 재생 및 다-step 학습이 성능 향상에 가장 중요한 구성요소임을 보인다.
• Noisy Nets는 일반적으로 중앙값 성능을 향상시키며, 특히 더 높은 성능의 게임에서 분포 학습이 여전히 유익하다.