[논문 리뷰] TextWorld: A Learning Environment for Text-based Games

Marc-Alexandre Côté, Ákos Kádár외 11명|arXiv (Cornell University)|2018. 06. 29.

Reinforcement Learning in Robotics참고 문헌 26인용 수 96

한 줄 요약

TextWorld는 텍스트 기반 게임에서 강화학습 에이전트를 학습하고 평가하기 위한 Python 프레임워크로, 난이도, 언어 및 관찰 가능성을 제어할 수 있는 손으로 만든 게임이나 자동 생성 게임을 가능하게 합니다.

ABSTRACT

We introduce TextWorld, a sandbox learning environment for the training and evaluation of RL agents on text-based games. TextWorld is a Python library that handles interactive play-through of text games, as well as backend functions like state tracking and reward assignment. It comes with a curated list of games whose features and challenges we have analyzed. More significantly, it enables users to handcraft or automatically generate new games. Its generative mechanisms give precise control over the difficulty, scope, and language of constructed games, and can be used to relax challenges inherent to commercial text games like partial observability and sparse rewards. By generating sets of varied but similar games, TextWorld can also be used to study generalization and transfer learning. We cast text-based games in the Reinforcement Learning formalism, use our framework to develop a set of benchmark games, and evaluate several baseline agents on this set and the curated list.

연구 동기 및 목표

• 텍스트 기반 게임에서의 기계 학습 도전과 수작업으로 작성된 게임을 분석합니다.
• TextWorld 프레임워크와 그 기능 및 RL 연구를 위한 사용법을 설명합니다.
• RL 평가를 위한 초기 텍스트 기반 벤치마크 게임 세트를 제공합니다.
• 벤치마크 게임과 수작업으로 작성된 게임 모두에서 기본 RL 에이전트를 평가합니다.
• 교육과정, 일반화 및 전이 학습 연구를 위한 살아 있는 자원으로 TextWorld를 홍보합니다.

제안 방법

• 텍스트 기반 게임을 RL 형식(MDP/POMDP)으로 프레이밍한다.
• 대화형 플레이를 처리하는 게임 엔진과 게임 생성기로 구성된 2-요소 아키텍처를 도입한다.
• 전방/후방 추론을 통해 유효한 게임 상태와 전이를 구축하는 논리 기반 추론 엔진을 사용한다.
• Random Walk로 생성된 맵과 의존성 제약 및 역방향/전방 메커니즘을 통해 생성된 퀘스트를 통해 게임을 생성한다.
• CFG 주도 텍스트 생성기를 사용하여 게임 상태를 자연어 설명으로 렌더링한다.
• 생성된 게임을 Inform 7/Glulx로 컴파일하고 단일 API를 통해 에이전트와 상호 작용하기 위한 인터페이스를 제공한다.
• 교육과정, 일반화 및 전이 학습 연구를 위해 선택적 중간 보상과 가변 관찰 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 텍스트 기반 게임을 RL 연구를 위한 제어 가능한 벤치마크로 어떻게 형식화할 수 있는가?
• RQ2 TextWorld는 일반화와 전이 학습을 연구하기 위해 다양하지만 관련된 게임의 생성을 어떻게 가능하게 하는가?
• RQ3 선정되고 생성된 텍스트 기반 벤치마크에서 어떤 기본 RL 방법이 작동하며, 그 한계는 무엇인가?
• RQ4 퀘스트 길이, 맵 크기, 어휘력과 같은 제어 가능한 요소가 학습 dynamics와 언어 이해에 어떤 영향을 미치는가?
• RQ5 희소 보상 및 부분 관찰 텍스트 환경에서 학습을 촉진하는 효과적인 전략(예: 중간 보상)은 무엇인가?

주요 결과

• TextWorld는 RL 연구를 위한 텍스트 기반 게임을 생성하고 상호 작용할 수 있는 확장 가능한 프레임워크를 제공합니다.
• 프레임워크는 게임 상태의 구조화된 표현과 승리 정책을 통해 정확한 상태 추적 및 중간 보상을 가능하게 합니다.
• TextWorld는 환경 매개변수를 변경하고 관련 게임을 생성하여 커리큘럼과 전이 학습 실험을 지원합니다.
• 수작업으로 작성된 텍스트 게임의 큐레이션 목록과 초기 벤치마크 세트가 도입되었고, 그 위에 기본 에이전트가 평가됩니다.
• 저자들은 TextWorld를 커뮤니티의 기여와 새로운 벤치마크와 함께 발전하는 살아 있는 자원으로 제시합니다.