[논문 리뷰] The NetHack Learning Environment

Heinrich Küttler, Nantas Nardelli외 5명|arXiv (Cornell University)|2020. 06. 24.

Reinforcement Learning in Robotics참고 문헌 56인용 수 40

한 줄 요약

논문은 NetHack Learning Environment (NLE)를 소개합니다. NetHack를 기반으로 한 빠르고 복잡하며 절차적으로 생성되는 RL 벤치마크로, 작업 모음, 베이스라인, 에이전트 행동 및 일반화 분석이 포함되어 있습니다.

ABSTRACT

Progress in Reinforcement Learning (RL) algorithms goes hand-in-hand with the development of challenging environments that test the limits of current methods. While existing RL environments are either sufficiently complex or based on fast simulation, they are rarely both. Here, we present the NetHack Learning Environment (NLE), a scalable, procedurally generated, stochastic, rich, and challenging environment for RL research based on the popular single-player terminal-based roguelike game, NetHack. We argue that NetHack is sufficiently complex to drive long-term research on problems such as exploration, planning, skill acquisition, and language-conditioned RL, while dramatically reducing the computational resources required to gather a large amount of experience. We compare NLE and its task suite to existing alternatives, and discuss why it is an ideal medium for testing the robustness and systematic generalization of RL agents. We demonstrate empirical success for early stages of the game using a distributed Deep RL baseline and Random Network Distillation exploration, alongside qualitative analysis of various agents trained in the environment. NLE is open source at https://github.com/facebookresearch/nle.

연구 동기 및 목표

• 빠른 속도이면서도 탐험, 계획, 기억, 전이 등을 도전하는 풍부하게 복잡한 환경으로 RL 연구에 동기를 부여한다.
• NetHack를 둘러싼 Gym 호환 인터페이스를 제공하여 확장 가능한 실험을 가능하게 한다.
• 장기 목표의 상징적 관측 공간에서 학습과 일반화를 보여주기 위한 초기 작업 모음과 베이스라인을 출시한다.
• 에이전트 행동 분석, 시드 간 일반화, 탐험 전략의 영향에 대한 분석을 촉진한다.

제안 방법

• NetHack 3.6.6을 바탕으로 제어된 시딩과 Python 프런트엔드를 통해 접근 가능한 내부 상태를 제공하는 Gym 환경으로 NLE를 구현한다.
• 상징적이고 다중 모달 관측(기호glyph, 문자, 색상, 특수, blstats, 메시지, inv_* 필드)과 93개의 행동(77 개 명령 + 16 이동)을 정의한다.
• 자기 중심 표현과 기호 임베딩, 2D 합성곱, 잠재 관측을 생성하는 MLP를 사용하고 이를 LSTM 기반 정책과 결합한다.
• 랜덤 시드와 다양한 문자 구성에서 1B 스텝을 위한 IMPALA(TorchBeast)로 베이스라인 에이전트를 학습한다.
• 희소 보상, 고분산 환경에서 탐험을 촉진하기 위해 RND(Random Network Distillation)를 이용한 베이스라인 확장을 도입한다.
• 에이전트 행동과 행동 분포를 분석하기 위한 대시보드와 리플레이 도구를 제공한다.

실험 결과

연구 질문

• RQ1 NetHack과 같은 빠르고 절차적으로 생성되며 상징적으로 풍부한 환경이 장기 계획과 탐험을 가능하게 하는 강력한 RL 방법을 견인할 수 있는가?
• RQ2 기본 모델 자유형 RL 방법이 NetHack 작업에서 어떻게 수행되며, 내재 탐험 보상(RND 등)이 학습과 일반화에 미치는 영향은 무엇인가?
• RQ3 캐릭터 구성, 시드 다양성, 모델 용량이 보지 못한 시드와 더 긴 시간 목표에 대한 일반화에 어떤 역할을 하는가?
• RQ4 에이전트가 복잡하고 다중 개체, 상징적 환경(NetHack와 같은)에서 학습할 때 어떤 질적 실패 모드와 전략이 나타나는가?
• RQ5 NetHack가 RL에서 전이 학습, 평생 학습, 시연 학습으로의 학습을 평가하는 데 얼마나 적합한가?

주요 결과

• IMPALA와 RND로 학습된 베이스라인 에이전트는 다수의 캐릭터 구성에서 NetHack의 초기 단계에 대해 다양한 정책을 학습할 수 있다.
• Random Network Distillation은 여러 하위 목표(예: 계단 탐색)에서 상당한 이점을 제공하고 희소 보상 하에서 탐험을 돕지만 task와 역할에 따라 효과가 다르게 나타난다.
• 더 큰 학습 시드 세트일수록 일반화가 개선되며, 최소 1000개의 시드에서 학습하면 학습과 검정 성능 간 격차가 좁아져 memorization이 감소한다는 신호를 준다.
• 에이전트는 특히 하강 중 전투에 의한 사망, 카멜레온과 같은 진화하는 위협과 같은 독특한 실패 모드를 보이며, 장기 목표를 위한 강건한 표현과 계획의 필요성을 드러낸다.
• 상징적 관측 공간과 긴 에피소드 기간은 NetHack를 RL에서 일반화, 계층적 계획, 평생 학습을 평가하기 위한 적합한 벤치마크로 만든다.