[논문 리뷰] Gotta Learn Fast: A New Benchmark for Generalization in RL

Alex Nichol, Vicki Pfau외 3명|arXiv (Cornell University)|2018. 04. 10.

Reinforcement Learning in Robotics참고 문헌 21인용 수 85

한 줄 요약

Sonic the Hedgehog 기반의 RL 벤치마크(Gym Retro Sonic)를 도입하고, 전이 및 few-shot 일반화를 평가하기 위한 train/test 분할과 기본 벤치마크 결과를 제시한다.

ABSTRACT

In this report, we present a new reinforcement learning (RL) benchmark based on the Sonic the Hedgehog (TM) video game franchise. This benchmark is intended to measure the performance of transfer learning and few-shot learning algorithms in the RL domain. We also present and evaluate some baseline algorithms on the new benchmark.

연구 동기 및 목표

• 교차 작업 일반화를 측정하기 위해 명시적인 train/test 분할을 갖춘 RL 벤치마크의 필요성을 제시한다.
• 여러 개의 비슷한 과제(소닉 레벨)로 구성된 메타러닝 친화적인 RL 데이터셋을 제안한다.
• RL에서 전이 및 few-shot 학습 능력을 평가하기 위한 기본 벤치마크 알고리즘을 제공한다.

제안 방법

• Gym Retro를 사용하여 58개의 저장된 레벨 상태에 걸친 train/test 분할이 포함된 Sonic 기반 RL 벤치마크를 구축한다.
• 현실적인 타이밍 및 확률적 특성을 시뮬레이션하기 위해 프레임 건너뛰기(frame skipping) 및 sticky frame skip를 사용한다.
• 가로 진행(progress) 기반 보상과 빠른 완료를 장려하는 완료 보너스를 정의한다.
• Rainbow(DQN 변형), PPO 및 비시각적 비주얼 JERK 벤치마크를 포함한 다수의 베이스라인을 전이/소샷 벤치마크로 평가한다.
• 다수의 레벨에서의 학습이 테스트 레벨 학습을 초기화하는 공동 학습(전이) 설정을 구현한다.
• 비교를 위한 레벨별 및 집계 성능 지표를 자세히 제공한다.

실험 결과

연구 질문

• RQ1 고정된 Sonic 게임 분포에서 유사한 작업(레벨) 간에 RL 에이전트가 얼마나 잘 일반화하는가?
• RQ2 전이 학습 및 few-shot RL 방법이 처음부터 학습하는 것에 비해 보이지 않는 레벨에서 샘플 복잡도를 줄일 수 있는가?
• RQ3 어떤 기본 전이 전략(공동 학습, 특성 재사용)이 테스트 성능을 가장 효과적으로 향상시키는가?

주요 결과

알고리즘	점수	최종 점수
Rainbow	2748.6 ± 102.2	3706.3 ± 192.7
JERK	1904.0 ± 21.9	2306.8 ± 74.0
PPO	1488.8 ± 42.8	1755.1 ± 65.2
PPO (joint)	3127.9 ± 116.9	3926.3 ± 78.1
Rainbow (joint)	2969.2 ± 170.2	3704.2 ± 151.1
Human	7438.2 ± 624.2	7438.2 ± 624.2

• 인간 플레이어가 기본 벤치마크 중 가장 높은 누적 테스트 점수(7438.2 ± 624.2)를 달성한다.
• 공동 학습 전이(Joint PPO/Rainbow)는 일반적으로 비공동 학습 벤치마크보다 테스트 성능을 개선하며, Joint PPO가 3926.3 ± 78.1 누적(테스트)이고 Joint Rainbow는 3704.2 ± 151.1이다.
• 보상 전처리를 포함한 Rainbow가 테스트 세트에서 표준 PPO보다 성능이 우수하다(Rainbow: 2748.6 ± 102.2 vs PPO: 1488.8 ± 42.8).
• 비딥러닝 스크립트 방식인 JERK는 경쟁력 있게 수행되며, 구조적 탐색으로 때로는 일반 PPO를 능가한다(1904.0 ± 21.9 누적).
• Joint Rainbow 및 Joint PPO는 훈련 수준에서 테스트 수준으로의 전이를 보여 주며 일부 일반화를 시사하지만, 최상의 전이는 여전히 인간 성능에 미친다.