[논문 리뷰] MiniHack the Planet: A Sandbox for Open-Ended Reinforcement Learning Research

Mikayel Samvelyan, Robert Kirk외 8명|arXiv (Cornell University)|2021. 09. 27.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

MiniHack는 NetHack의 풍부한 격자기반 메커니즘을 기반으로 한 유연하고 개방형 강화학습(RL) 사전 환경을 제공하며, 인간이 읽을 수 있는 DSL 또는 파이썬 API를 통해 복잡하고 프로시저적으로 생성된 환경의 빠른 프로토타이핑을 가능하게 한다. 기존 벤치마크의 통합, 다중 모odal 관측, 고급 RL 작업을 원활하게 지원하며, DQN, PPO, A2C와 같은 베이스라인을 사용해 탐색, 스킬 습득, 비지도 환경 설계 분야에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Progress in deep reinforcement learning (RL) is heavily driven by the availability of challenging benchmarks used for training agents. However, benchmarks that are widely adopted by the community are not explicitly designed for evaluating specific capabilities of RL methods. While there exist environments for assessing particular open problems in RL (such as exploration, transfer learning, unsupervised environment design, or even language-assisted RL), it is generally difficult to extend these to richer, more complex environments once research goes beyond proof-of-concept results. We present MiniHack, a powerful sandbox framework for easily designing novel RL environments. MiniHack is a one-stop shop for RL experiments with environments ranging from small rooms to complex, procedurally generated worlds. By leveraging the full set of entities and environment dynamics from NetHack, one of the richest grid-based video games, MiniHack allows designing custom RL testbeds that are fast and convenient to use. With this sandbox framework, novel environments can be designed easily, either using a human-readable description language or a simple Python interface. In addition to a variety of RL tasks and baselines, MiniHack can wrap existing RL benchmarks and provide ways to seamlessly add additional complexity.

연구 동기 및 목표

• 간단하고 통제 가능한 RL 환경과 복잡한 실제 세계의 벤치마크 사이의 격차를 해소하기 위해 체계적이고 확장 가능한 환경 설계를 가능하게 하기 위해.
• 연구자가 실험적 가설 검증을 유지하면서도 환경의 복잡성을 점진적으로 증가시킬 수 있는 프레임워크를 제공하기 위해.
• 다양한 RL 연구 분야, 예를 들어 비지도 스킬 발견, 전이 학습, 언어 지원 RL을 위한 풍부하고 확장 가능한 환경을 통해 지원하기 위해.
• NetHack의 엔티티와 동역학을 활용해 기존의 벤치마크(예: MiniGrid, Boxoban)를 쉽게 이식하고 확장할 수 있도록 하기 위해.
• DQN, PPO, A2C를 위한 표준화된 베이스라인과 학습 설정을 제공하여 향후 연구를 가속화하기 위해.

제안 방법

• 프레임워크는 인간이 읽을 수 있는 des 파일을 통해 NetHack의 도메인 특화 언어(DSL)를 사용해 프로시저적으로 생성된 환경을 정의하며, 최소한의 코드로 빠른 환경 생성을 가능하게 한다.
• 이들 기술적 기술을 표준 Gym 호환 RL 환경으로 컴파일하며, 기호적, 픽셀 기반, 텍스트 기반 관측을 모두 지원한다.
• 단 몇 줄의 코드로 NetHack 엔티티(예: 몬스터, 문, 라바)를 삽입하고 확률적 동역학을 추가하여 기존의 벤치마크를 확장할 수 있다.
• 다중 에이전트 및 적대적 학습을 지원하며, LSTM 기반 정책 네트워크를 사용해 적대자와 주인공 모두를 위한 PAIRED 알고리즘을 통해 비지도 환경 설계를 수행한다.
• 인기 있는 RL 라이브러리(예: RLlib, TorchBeast)와 통합되며, 베이스라인 방법에 대한 사전 설정된 학습 스크립트와 하이퍼파라미터를 제공한다.
• LSTM과 같은 순환 네트워크 및 우선순위 경험 재현, 가치 함수 클리핑과 같은 표준 RL 구성 요소를 지원하는 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모듈러하고 확장 가능한 프레임워크는 단순한 환경에서 복잡한 환경으로의 체계적 확장을 가능하게 하며 실험적 통제를 유지할 수 있는가?
• RQ2 기존의 벤치마크에 NetHack의 풍부하고 동적인 엔티티를 통합할 때 상당한 엔지니어링 부담 없이 얼마나 효과적으로 확장할 수 있는가?
• RQ3 MiniHack는 비지도 환경 설계 및 다중 모달 관측 학습과 같은 고급 RL 연구를 얼마나 효과적으로 지원하는가?
• RQ4 MiniHack는 탐색, 책임 할당, 전이 학습 등 다양한 RL 능력을 평가하기 위한 통합 플랫폼으로 기능할 수 있는가?
• RQ5 표준 RL 알고리즘(DQN, PPO, A2C)은 MiniHack의 탐색 및 스킬 습득 작업 세트에서 얼마나 성능을 발휘하는가?

주요 결과

• DQN, PPO, A2C로 훈련된 베이스라인 에이전트는 MiniHack의 탐색 및 스킬 습득 작업 전반에서 안정적인 학습 곡선을 보였으며, 500,000 티머프스를 초과한 시점에서 중앙값 수익이 향상되었다.
• PAIRED 알고리즘이 PPO로 훈련된 적대자 정책을 사용해 MiniHack에서 새로운 도전적인 레벨을 성공적으로 생성하여 비지도 환경 설계의 가능성을 입증했다.
• MiniGrid와 Boxoban에서 옮겨온 환경들이 MiniHack에 성공적으로 통합되었고 NetHack 엔티티로 확장되었으며, 이는 프레임워크의 상호운용성을 보여주었다.
• MiniHack에서의 다중 모달 관측(기호적, 픽셀, 텍스트) 사용은 더 풍부한 상태 표현을 가능하게 하여 복잡한 추론 작업을 지원했다.
• 1개의 GPU와 10개의 CPU를 사용한 학습은 효율적인 벽시계 속도를 달성했으며, 모든 알고리즘에서 안정적인 학습을 위해 하이퍼파라미터가 최적화되었다.
• 프레임워크의 모듈러 설계 덕분에 빠른 환경 생성이 가능했으며, 예를 들어 10줄 이내의 DSL 코드로 복잡한 미로나 복도 시스템을 생성할 수 있었다.