[논문 리뷰] A survey of benchmarking frameworks for reinforcement learning

Belinda Stapelberg, Katherine M. Malan|arXiv (Cornell University)|2020. 11. 27.

Reinforcement Learning in Robotics참고 문헌 87인용 수 5

한 줄 요약

이 논문은 강화학습(RL) 벤치마킹 프레임워크—OpenAI Gym, 아케이드 학습 환경(ALE), rllab, TextWorld, 그리고 RoboCup Keepaway—를 종합적으로 조사하여 RL 알고리즘 개발을 평가하고 표준화한다. 이들은 기술적 구현, 과제 다양성, 재현 가능성 지원을 분석하며, 탐색-이용 갈등과 부분 관찰 가능성과 같은 핵심 RL 과제를 해결하는 데 기여하는 방식을 강조한다.

ABSTRACT

Reinforcement learning has recently experienced increased prominence in the machine learning community. There are many approaches to solving reinforcement learning problems with new techniques developed constantly. When solving problems using reinforcement learning, there are various difficult challenges to overcome. To ensure progress in the field, benchmarks are important for testing new algorithms and comparing with other approaches. The reproducibility of results for fair comparison is therefore vital in ensuring that improvements are accurately judged. This paper provides an overview of different contributions to reinforcement learning benchmarking and discusses how they can assist researchers to address the challenges facing reinforcement learning. The contributions discussed are the most used and recent in the literature. The paper discusses the contributions in terms of implementation, tasks and provided algorithm implementations with benchmarks. The survey aims to bring attention to the wide range of reinforcement learning benchmarking tasks available and to encourage research to take place in a standardised manner. Additionally, this survey acts as an overview for researchers not familiar with the different tasks that can be used to develop and test new reinforcement learning algorithms.

연구 동기 및 목표

• 강화학습 분야에서 가장 널리 사용되고 최근에 등장한 벤치마킹 프레임워크에 대한 종합적인 개요를 제공하기 위해.
• 이 프레임워크들이 RL 알고리즘의 재현 가능성과 공정한 비교를 어떻게 지원하는지 분석하기 위해.
• 벤치마킹 과제가 탐색-이용 갈등, 부분 관찰 가능성, 지연 보상과 같은 기본적인 RL 과제를 어떻게 다루는지 검토하기 위해.
• 신규 및 경험이 많은 연구자들이 알고리즘 개발 및 평가에 적절한 벤치마크를 선택하는 데 도움을 주기 위해.
• 진전을 가속화하기 위해 표준화되고 투명하며 접근 가능한 벤치마킹 관행을 촉진하기 위해.

제안 방법

• OpenAI Gym, ALE, rllab, TextWorld, 그리고 RoboCup Keepaway를 포함한 주요 RL 벤치마킹 프레임워크에 대한 체계적 서베이.
• 구현 방식(예: 오픈소스, 시뮬레이션 기반), 과제 유형(예: 제어, 탐색, 게임 플레이), 지원하는 알고리즘 구현 방식에 따라 프레임워크를 분류.
• 환경 인터페이스, 상태 및 행동 공간 정의, 보상 형태 조정 메커니즘과 같은 기술적 기능 분석.
• 에피소드 종료 기준, 하이퍼파rameter 조정 프로토콜, 성능 보고 기준과 같은 벤치마킹 관행 평가.
• 내장된 베이스라인, 튜토리얼, 새로운 환경을 위한 확장성 등 프레임워크가 알고리즘 개발을 어떻게 지원하는지 분석.
• 문제 복잡성 증가 및 완전한 오픈소스 구현으로의 전환과 같은 벤치마킹 트렌드 논의.

실험 결과

연구 질문

• RQ1 최근 RL 연구에서 가장 널리 채택된 벤치마킹 프레임워크는 무엇이며, 그들의 뚜렷한 기술적 및 기능적 특성은 무엇인가?
• RQ2 이 프레임워크들은 다양한 연구 팀 간의 RL 알고리즘 재현 가능성과 공정한 비교를 어떻게 지원하는가?
• RQ3 벤치마킹 과제들은 탐색, 부분 관찰 가능성, 지연 보상과 같은 핵심 RL 과제를 어떻게 해결하는가?
• RQ4 일관된 하이퍼파rameter 조정 및 훈련 시간과 같은 표준화된 평가 프rotocol이 신뢰할 수 있는 벤치마킹 비교를 확보하는 데 어떤 역할을 하는가?
• RQ5 복잡한 부분 관찰 환경 또는 자연어 기반 환경의 통합과 같은 최근의 벤치마킹 트렌드가 RL 분야의 발전에 어떻게 기여했는가?

주요 결과

• OpenAI Gym, ALE, rllab, TextWorld, 그리고 RoboCup Keepaway는 각각 다른 문제 영역을 다루며, 가장 영향력 있고 널리 사용되는 RL 벤치마킹 프레임워크이다.
• 표준화된 평가 프로토콜—예를 들어, 에피소드 종료를 위한 게임 오버 신호 사용 및 일관된 하이퍼파rameter 조정—은 알고리즘 비교의 재현 가능성과 공정성을 크게 향상시킨다.
• 심층학습 기법의 통합, 예를 들어 ALE에서의 합성곱 신경망과 TextWorld에서의 트랜스포머 기반 모델은 더 복잡하고 현실적인 벤치마킹 과제를 가능하게 하였다.
• 많은 프레임워크가 확장성 지원을 제공하여 연구자들이 새로운 로봇, 환경, 과제를 가져올 수 있게 되었으며, 이는 실세계 RL 응용에 대한 유용성을 높였다.
• 완전한 오픈소스 구현으로의 전환은 접근성과 투명성을 향상시켜 더 넓은 커뮤니티 참여와 재현 가능한 연구를 촉진하였다.
• 벤치마킹 프레임워크는 점점 더 복잡한 과제를 포함하도록 진화하였으며, ALE의 스티키 액션과 rllab의 부분 관찰 변형 등 강화학습 문제의 정교함을 반영하고 있다.