[논문 리뷰] Bigger, Better, Faster: Human-level Atari with human-level efficiency

Max Schwarzer, Johan Obando-Ceron외 4명|arXiv (Cornell University)|2023. 05. 30.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 BBF를 소개한다. BBF는 신경망의 넓이를 늘리고 주기적인 리셋과 높은 리PLAY 비율과 같은 효율적인 훈련 기법을 사용하여 단지 2시간의 플레이타임만으로 Atari 100K 벤치마크에서 초인간 수준의 성능을 달성하는 가치 기반 강화학습 에이전트이다. 이는 DQN이 256시간의 훈련이 필요로 하는 성능을 200만 개의 환경 스텝만으로도 달성한다. BBF는 모델-프리 강화학습에서 샘플 효율성의 새로운 기준을 설정하며, 이전 방법들보다 샘플 효율성에서 최대 16배 향상되었고, 모델 기반 기준 대비 런타임을 4배 줄였다.

ABSTRACT

We introduce a value-based RL agent, which we call BBF, that achieves super-human performance in the Atari 100K benchmark. BBF relies on scaling the neural networks used for value estimation, as well as a number of other design choices that enable this scaling in a sample-efficient manner. We conduct extensive analyses of these design choices and provide insights for future work. We end with a discussion about updating the goalposts for sample-efficient RL research on the ALE. We make our code and data publicly available at https://github.com/google-research/google-research/tree/master/bigger_better_faster.

연구 동기 및 목표

• 샘플 효율성이 인간 학습 수준과 유사한 모델-프리 딥 강화학습 에이전트를 개발하여, Atari 100K 벤치마크에서 인간 수준의 성능을 달성하는 것.
• 가치 기반 강화학습에서 신경망의 넓이와 리PLAY 비율을 늘릴 경우 샘플 효율성과 성능에 어떤 영향을 미치는지 조사하는 것.
• 샘플 제약 조건이 있는 환경에서 대규모 네트워크의 안정적이고 효율적인 훈련을 가능하게 하는 주요 아키텍처 및 훈련 구성 요소를 규명하는 것.
• 최소한의 환경 상호작용으로 초인간 성능을 달성함으로써 샘플 효율성 기반 강화학습의 새로운 벤치마크 목표를 제안하는 것.

제안 방법

• BBF는 가치 함수의 표현력을 향상시키기 위해 넓이와 깊이를 늘린 넓은 잔차 신경망(ResNet) 아키텍처를 사용하며, 우선순위 기반 경험 리PLAY를 통한 더블 DQN 기반 알고리즘으로 훈련된다.
• 에이전트는 치명적인 잊힘을 완화하면서도 장기 훈련 단계 동안 유연성을 유지하기 위해 높은 리PLAY 비율(최대 8)과 주기적인 네트워크 리셋을 사용한다.
• 추가 보상 신호 없이도 특징 표현 학습을 향상시키기 위해 관측값에 대해 자기지도 대비 학습(self-supervised contrastive learning)을 통합한다.
• 훈련 파이프라인은 스티키 액션과 증가하는 리PLAY 비율을 갖춘 커리큘럼 스타일 훈련을 포함하여 초기 단계에서의 학습 안정성을 높인다.
• 성능 평가는 26개의 Atari 100K 게임에 대해 인간 정규화 점수의 사분위수 평균(IQM)을 사용하며, 주요 구성 요소에 대한 분석 실험도 수행된다.
• 이 방법은 계산적으로 효율적이며, 리PLAY 비율 2에서 4만 개의 환경 스텝을 위해 약 1시간의 A100 GPU 시간만 소요된다.

실험 결과

연구 질문

• RQ1 가치 기반 강화학습 에이전트에서 신경망의 넓이와 리PLAY 비율을 늘릴 경우, 인간 수준의 샘플 효율성으로 Atari 100K에서 초인간 성능을 달성할 수 있는가?
• RQ2 주기적인 네트워크 리셋과 자기지도 표현 학습은 대규모, 샘플 제약 조건이 있는 강화학습에서 학습 안정성과 성능에 어떤 기여를 하는가?
• RQ3 높은 리PLAY 비율과 아키텍처 스케일링이 딥 강화학습 에이전트의 일반화 능력을 향상시키고 성능 정체를 방지하는 데 얼마나 기여하는가?
• RQ4 모델-프리 강화학습 에이전트가 샘플 효율성과 계산 비용 측면에서 최신 모델 기반 방법인 EfficientZero를 능가할 수 있는가?
• RQ5 특히 대규모 네트워크와 높은 리PLAY 비율과 결합되었을 때, 픽셀에서의 자기지도 학습이 샘플 부족한 강화학습에서 성능 향상에 기여하는가?

주요 결과

• BBF는 26개의 Atari 100K 게임에서 사분위수 평균(IQM) 인간 정규화 점수 1.0 이상을 달성하여, 단지 2시간의 플레이타임으로 초인간 성능을 입증한다.
• BBF는 DQN, Rainbow, IQN보다 최소 16배 이상 샘플 효율성이 향상되었고, 최근 강력한 기준인 SR-SPR보다는 5배 향상되었다.
• 200만 개의 환경 스텝에서 BBF는 DQN이 256시간의 훈련이 필요로 하는 최종 성능을 달성하며 샘플 제약 조건 하에서 빠른 학습을 보였다.
• BBF는 2,000만 개의 환경 스텝에서 Rainbow의 최종 성능에 도달했고, 하이퍼파라미터 조정 없이도 단지 100만 개의 스텝만으로 유사한 결과를 얻었다.
• 단지 5만 개의 환경 스텝과 스티키 액션을 사용한 상황에서도 BBF는 스티키 액션 없이 10만 개의 스텝 동안 훈련된 최근 알고리즘들을 능가하는 성능을 보였다.
• BBF는 EfficientZero보다 최소 4배 런타임을 단축하면서도 유사한 성능을 달성하여, 뛰어난 계산 효율성을 입증했다.