[논문 리뷰] Measuring Sample Efficiency and Generalization in Reinforcement Learning Benchmarks: NeurIPS 2020 Procgen Benchmark

Sharada P. Mohanty, Jyotish Poonganam외 21명|arXiv (Cornell University)|2021. 03. 29.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 16개의 절차적으로 생성된 환경을 사용하여 강화학습에서 샘플 효율성과 일반화 능력을 평가하기 위한 중앙집중식 벤치마크인 NeurIPS 2020 Procgen 경쟁을 제시한다. 수천 건의 제출물에 걸쳐 표준화된 엔드 투 엔드 훈련 및 평가를 통해, 높은 일반화 능력과 샘플 효율성을 달성한 최고 성능의 방법을 특정하였으며, 주요 향상 요소로는 초모수 튜닝, 데이터 증강, MaxBlurPool 및 채널별 주의 메커니즘과 같은 아키텍처 수정이 포함된다.

ABSTRACT

The NeurIPS 2020 Procgen Competition was designed as a centralized benchmark with clearly defined tasks for measuring Sample Efficiency and Generalization in Reinforcement Learning. Generalization remains one of the most fundamental challenges in deep reinforcement learning, and yet we do not have enough benchmarks to measure the progress of the community on Generalization in Reinforcement Learning. We present the design of a centralized benchmark for Reinforcement Learning which can help measure Sample Efficiency and Generalization in Reinforcement Learning by doing end to end evaluation of the training and rollout phases of thousands of user submitted code bases in a scalable way. We designed the benchmark on top of the already existing Procgen Benchmark by defining clear tasks and standardizing the end to end evaluation setups. The design aims to maximize the flexibility available for researchers who wish to design future iterations of such benchmarks, and yet imposes necessary practical constraints to allow for a system like this to scale. This paper presents the competition setup and the details and analysis of the top solutions identified through this setup in context of 2020 iteration of the competition at NeurIPS.

연구 동기 및 목표

• 딥 강화학습에서 샘플 효율성과 일반화 능력을 측정하기 위한 확장성 있고 중앙집중식의 벤치마크를 구축하기 위해.
• 다양하고 절차적으로 생성된 환경에서, 에이전트가 새로운 레이아웃과 구성에 직면할 때의 일반화 능력을 분리하고 평가하기 위해.
• 표준화되고 재현 가능한 방식으로 수천 건의 사용자 제출된 RL 코드베이스를 엔드 투 엔드 평가할 수 있도록 하기 위해.
• 샘플 효율성과 일반화 능력 향상에 기여하는 핵심 방법론적 관행을 특정하기 위해.
• 최대한의 유연성과 실용적 확장성을 확보하면서 향후 벤치마크 버전 개선을 위한 기반을 제공하기 위해.

제안 방법

• 절차적으로 생성된 환경, 랜덤화된 레벨 레이아웃, 자산 및 난이도를 사용하는 오픈소스 Procgen 벤치마크를 기반으로 한다.
• 최종 평가를 위해 4개의 보류 테스트 환경을 정의하여 절차적 변형에 대한 일반화 능력을 보장한다.
• 주요 평가 지표로 평균 정규화 수익을 사용한다: $ R_{norm} = (R - R_{min}) / (R_{max} - R_{min}) $, 값이 0에서 1 사이가 되도록 보장한다.
• 모든 제출물에 걸쳐 표준화된 훈련 및 평가 파이프라인을 적용하여 공정한 비교와 확장성을 확보한다.
• MaxPool을 MaxBlurPool로 교체하고 잔차 블록에 채널별 주의 모듈을 추가하는 아키텍처 수정을 적용한다.
• 데이터 증강, 보상 정규화, 보조 과제의 영향을 성능과 샘플 효율성에 대해 평가한다.

실험 결과

연구 질문

• RQ1 절차적으로 생성된 환경에서 강화학습의 일반화 능력을 가장 크게 향상시키는 방법론적 관행는 무엇인가?
• RQ2 초모수 튜닝, 데이터 증강, 네트워크 아키텍처 수정은 샘플 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 보조 과제나 내재 보상은 이 벤치마크에서 학습 효율성과 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 보상 정규화는 정책 훈련의 안정성과 최종 성능에 어떤 영향을 미치는가?
• RQ5 강화학습 에이전트에서 아키텍처 복잡성, 파라미터 수와 일반화 성능 사이의 상충 관계는 어떠한가?

주요 결과

• 초모수 튜닝은 대부분의 제출물에서 성능 향상에 크게 기여하여, 높은 성능을 달성하기 위해 튜닝이 필수적임을 시사한다.
• 데이터 증강은 일반화 능력을 향상시켰지만 균형 조정이 필요했으며, PPG에서 정책 안정성 확보를 위해 일부 증강되지 않은 프레임 유지가 필수적이었다.
• MaxPool을 MaxBlurPool로 교체하고 채널별 주의 모듈을 추가함으로써 파라미터 수를 75% 감소시키면서 성능 향상을 달성하여 아키텍처 효율성 향상을 입증했다.
• 보상 정규화는 학습 안정성과 최종 수익에 상당한 긍정적 영향을 미쳤으며, 특히 가치 네트워크 훈련에서 두드러졌다.
• 내재 보상과 보조 과제(예: 대비 학습 또는 deepMDP)는 계산 오버헤드 증가와 훈련 스텝 수 감소로 인해 성능을 떨어뜨렸다.
• 순환 신경망과 노이즈 넷은 성능 향상에 기여하지 않았고 종종 훈련 속도를 저하시켰으며, 반면 프레임 스택킹은 시간적 모델링에 더 효과적이었다.