[논문 리뷰] SuperSuit: Simple Microwrappers for Reinforcement Learning Environments

Justin K. Terry, Benjamin Black외 1명|arXiv (Cornell University)|2020. 08. 17.

Evolutionary Algorithms and Applications참고 문헌 8인용 수 8

한 줄 요약

SuperSuit는 강화학습 환경에서 관측값, 행동, 보상의 전처리를 위한 효율적이고 재사용 가능한 '마이크로래퍼'를 제공하는 파이썬 라이브러리입니다. 이 라이브러리는 Gym과 PettingZoo 환경을 모두 지원하며, 프레임 스택, 보상 클리핑, 관측값 정규화와 같은 일반적인 래퍼의 표준화되고 고성능 구현을 제공합니다. 동시에 람다 함수를 통한 사용자 정의 변환도 가능하여 버그와 개발 오버헤드를 줄입니다.

ABSTRACT

In reinforcement learning, wrappers are universally used to transform the information that passes between a model and an environment. Despite their ubiquity, no library exists with reasonable implementations of all popular preprocessing methods. This leads to unnecessary bugs, code inefficiencies, and wasted developer time. Accordingly we introduce SuperSuit, a Python library that includes all popular wrappers, and wrappers that can easily apply lambda functions to the observations/actions/reward. It's compatible with the standard Gym environment specification, as well as the PettingZoo specification for multi-agent environments. The library is available at https://github.com/PettingZoo-Team/SuperSuit,and can be installed via pip.

연구 동기 및 목표

• Gym과 PettingZoo 환경을 아우르는 중앙집중식이고 잘 유지 관리되는 강화학습 래퍼 라이브러리의 부족을 해결하기 위해.
• 연구 프로젝트에서 개별적으로 구현된 커스텀 래퍼로 인한 코드 중복, 버그 및 성능 저하 문제를 줄이기 위해.
• 프레임 스택, 보상 클리핑, 관측값 정규화와 같은 일반적인 전처리 기법을 표준화하고 최적화하여 재현 가능성과 효율성을 향상시키기 위해.
• 단일 에이전트 및 다중 에이전트 강화학습 환경을 모두 지원하며, 각각에 맞는 래퍼를 제공함으로써 에이전트 식별, 행동 공간 팞딩과 같은 에이전트 전용 기능을 포함하기 위해.
• 연구자들이 관측값, 행동, 보상에 대해 사용자 정의 변환을 람다 래퍼를 통해 쉽게 적용할 수 있도록 하여 유연성을 유지하면서도 성능을 손상시키지 않기 위해.

제안 방법

• 각 래퍼를 독립적이고 상태 없는 함수로 구현하여 환경를 입력으로 받아 래핑된 환경를 반환함으로써 모듈성과 명확성을 확보합니다.
• 강화학습에서 널리 사용되는 주요 전처리 기법, 예를 들어 프레임 스킵, 프레임 스택, 관측값 크기 조정, 보상 클리핑 등을 최적화된 구현 방식으로 지원합니다.
• 다중 에이전트 환경을 위한 특수 래퍼를 제공하여 비대칭적이거나 크기가 변하는 관측값을 처리할 수 있도록 합니다. 예를 들어 에이전트 식별, 관측값 팞딩, 행동 공간 팜딩 등의 기능을 포함합니다.
• 람다 래퍼를 통해 사용자가 직접 관측값, 행동 또는 보상에 커스텀 함수를 삽입할 수 있어 핵심 로직을 수정하지 않고도 확장성이 향상됩니다.
• 기존의 강화학습 프레임워크와의 원활한 통합을 위해 표준 Gym 및 PettingZoo 환경 API와 호환되도록 설계되어 있습니다.
• 모든 래퍼는 성능을 고려하여 설계되었으며, 기본 출력 형상이 컨volutional 신경망(CNN)과 효율적으로 사용할 수 있도록 구성되어 있습니다.

실험 결과

연구 질문

• RQ1 다양한 환경에서 강화학습 전처리 래퍼의 신뢰성과 성능을 어떻게 향상시킬 수 있을까요?
• RQ2 표준화되고 재사용 가능한 래퍼의 도입이 강화학습 연구에서 버그와 개발 시간에 어떤 영향을 미칠까요?
• RQ3 통합된 라이브러리가 단일 에이전트(Gym)와 다중 에이전트(PettingZoo) 환경을 일관되고 고성능으로 지원할 수 있을까요?
• RQ4 람다 기반 래퍼의 포함이 강화학습 실험에서 확장성과 맞춤화 능력에 어떤 영향을 미칠까요?
• RQ5 표준화된 전처리 래퍼가 강화학습 실험의 재현 가능성과 계산 효율성에 어느 정도 기여할 수 있을까요?

주요 결과

• SuperSuit는 널리 사용되는 모든 강화학습 전처리 래퍼를 중앙집중식으로 제공하는 생산 수준의 라이브러리로, 커스텀이고 오류가 발생하기 쉬운 구현 방식에 대한 의존도를 줄입니다.
• 이 라이브러리는 Gym과 PettingZoo 환경을 모두 지원하여 단일 에이전트 및 다중 에이전트 강화학습 연구 전반에 걸쳐 광범위한 호환성을 확보합니다.
• 프레임 스택, 보상 클리핑과 같은 최적화된 재사용 가능한 래퍼를 제공함으로써 계산 효율성을 향상시키고 학습 오버헤드를 감소시킵니다.
• 람다 래퍼의 포함 덕분에 연구자들은 관측값, 행동 또는 보상에 커스텀 변환을 쉽게 적용할 수 있으며, 반복적인 코드를 작성할 필요가 없습니다.
• 라이브러리의 설계는 각 래퍼가 하나의 명확하게 정의된 기능을 수행하도록 하여 모듈성과 디버깅 용이성을 증진시킵니다.
• SuperSuit는 pip를 통해 설치 가능하며 GitHub에 호스팅되어 있어 강화학습 연구 커뮤니티 전반에서 접근성과 유지보수성이 보장됩니다.