[논문 리뷰] OpenAI Gym

Greg Brockman, Vicki Cheung외 5명|arXiv (Cornell University)|2016. 06. 05.

Educational Games and Gamification인용 수 632

한 줄 요약

OpenAI Gym은 공통 인터페이스를 갖춘 환경 라이브러리와 결과를 공유하고 비교하기 위한 웹사이트를 제공하는 강화학습 벤치마킹 툴킷이다.

ABSTRACT

OpenAI Gym is a toolkit for reinforcement learning research. It includes a growing collection of benchmark problems that expose a common interface, and a website where people can share their results and compare the performance of algorithms. This whitepaper discusses the components of OpenAI Gym and the design decisions that went into the software.

연구 동기 및 목표

• 공통 인터페이스를 갖춘 편리하고 확장 가능한 RL 환경 모음을 제공한다.
• 환경 버전 관리와 학습 데이터 모니터링을 통해 재현 가능한 벤치마킹을 가능하게 한다.
• 커뮤니티 점수판과 Writeups를 통해 코드, 결과 및 재현성 공유를 촉진한다.
• RL 알고리즘 평가에서 샘플 효율성과 최종 성능 간의 균형에 중점을 둔다.

제안 방법

• 환경을 핵심 추상화로 정의하고, 다양한 에이전트 스타일을 수용하기 위해 고정된 에이전트 인터페이스를 제외한다.
• 학습 곡선을 위한 단계, 리셋 기록 및 선택적으로 비디오 데이터를 기록하는 Monitor로 환경을 계측한다.
• 업데이트 간 결과의 의미를 유지도록 환경의 버전을 엄격히 관리한다(예: CartPole-v0에서 CartPole-v1로).
• 고전 제어, 알고리즘 작업, ALE를 통한 Atari 게임, 보드 게임, 로봇 시뮬레이터(MuJoCo, Box2D, VizDoom) 등을 포함한 다양한 환경 세트를 제공한다.
• 사용자가 결과를 제출하고 소스 코드 링크와 재현 지침을 얻을 수 있는 점수판이 있는 웹사이트를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 RL 작업 전반에 걸친 공통 인터페이스가 알고리즘의 공정한 비교를 어떻게 촉진할 수 있는가?
• RQ2 시간에 걸쳐 재현성 및 의미 있는 벤치마킹을 가장 잘 지원하는 디자인 결정은 무엇인가?
• RQ3 커뮤니티 주도 플랫폼이 RL 벤치마크에서 학습 진행, 최종 성능 및 자원 사용의 균형을 효과적으로 달성할 수 있는가?
• RQ4 특정 작업이나 버전에 과적합되는 것을 방지하기 위해 환경을 어떻게 버전 관리하고 모니터링해야 하는가?

주요 결과

• 하나의 통합된 환경 중심 프레임워크가 다양한 RL 문제를 지원하면서도 서로 다른 에이전트 인터페이스에 유연성을 유지한다.
• 버전 관리와 모니터링은 재현 가능하고 해석 가능한 벤치마킹 결과를 보장하는 데 핵심이다.
• 고전 제어, 알고리즘, Atari, 보드 게임, 로봇 시뮬레이션에 걸친 다양한 환경 모음이 제공된다.
• 플랫폼은 리더보드 우위를 다투기보다는 재현성을 돕는 코드와 작성물 공유를 강조한다.