[논문 리뷰] How to Avoid Being Eaten by a Grue: Structured Exploration Strategies for Textual Worlds

Prithviraj Ammanabrolu, Ethan Tien외 2명|arXiv (Cornell University)|2020. 06. 12.

Topic Modeling참고 문헌 31인용 수 24

한 줄 요약

이 논문은 지식 그래프와 내재적 동기를 사용하여 텍스트 기반 게임에서 블로킹 상태를 탐지하고 이를 극복하는 에이전트인 MC!Q*BERT를 소개한다. 이는 지연 보상과 희박한 피드백으로 인해 표준 강화학습이 효과적으로 탐색하지 못하는 핵심 과제를 해결한다. 이는 Zork에서 유명한 Grue 블로킹 상태를 해결한 최초의 사례이며, 구조적 탐색과 정책 체인을 조합하여 아홉 개의 게임에서 이전 최고 성능 에이전트를 능가한다.

ABSTRACT

Text-based games are long puzzles or quests, characterized by a sequence of sparse and potentially deceptive rewards. They provide an ideal platform to develop agents that perceive and act upon the world using a combinatorially sized natural language state-action space. Standard Reinforcement Learning agents are poorly equipped to effectively explore such spaces and often struggle to overcome bottlenecks---states that agents are unable to pass through simply because they do not see the right action sequence enough times to be sufficiently reinforced. We introduce Q*BERT, an agent that learns to build a knowledge graph of the world by answering questions, which leads to greater sample efficiency. To overcome bottlenecks, we further introduce MC!Q*BERT an agent that uses an knowledge-graph-based intrinsic motivation to detect bottlenecks and a novel exploration strategy to efficiently learn a chain of policy modules to overcome them. We present an ablation study and results demonstrating how our method outperforms the current state-of-the-art on nine text games, including the popular game, Zork, where, for the first time, a learning agent gets past the bottleneck where the player is eaten by a Grue.

연구 동기 및 목표

• 텍스트 기반 게임에서 지연 보상과 희박한 보상으로 인해 표준 강화학습 에이전트가 행동 공간의 조합적 크기로 인해 효과적으로 탐색하지 못하는 문제를 해결하기 위해.
• 장기적 의존성과 직접 보상이 없는 중요한 의사결정 지점인 블로킹 상태를 게임 세계의 구조적 분석을 통해 탐지하고 극복하기 위해.
• 에이전트가 의존성을 순차적으로 해결하는 정책 모듈 체인을 학습함으로써 샘플 효율성과 탐색을 향상시키기 위해.
• 지식 그래프 구축에 기반한 내재적 동기가 국소적으로 최적화된 경로에 조기에 수렴하는 것을 방지하고 전역적으로 최적화된 경로로 이끄는 데 기여함을 보여주기 위해.

제안 방법

• 에이전트인 Q*BERT는 게임 상태에 대해 질문을 던지며 지식 그래프를 구축하고, 위치와 소지품 의존성을 방향성 있는 비순환 그래프(DAG)의 정점으로 인코딩한다.
• MC!Q*BERT는 이 지식 그래프를 사용해 의존성 해결을 위한 내재적 보상을 계산하며, 특히 게임에서 직접 보상되지 않는 의존성에 대해 신호를 보낸다.
• 의존성 그래프에 위상 정렬을 적용하여, 레벨에 유일하게 존재하고 보다 높은 보상 상태 이전에 위치하는 정점으로서 블로킹 상태를 식별한다.
• 에이전트는 의존성 해결을 향한 행동을 우선순위로 하는 구조적 탐색 전략을 적용하며, 내재적 보상을 통해 즉각적인 보상 외의 탐색을 이끈다.
• 정책 체인을 사용해 개별 블로킹 상태를 해결하는 모듈식 정책을 조합함으로써 복잡한 의존성 체인을 순차적으로 통과할 수 있도록 한다.
• 제거 실험을 통해 내재적 동기와 개선된 그래프 구축의 필요성을 평가하였으며, 이들의 조합이 성능 향상에 필수적임을 확인하였다.

실험 결과

연구 질문

• RQ1 지식 그래프에서 유도된 내재적 동기가 희박하고 지연된 보상을 가진 텍스트 기반 게임에서 탐색을 향상시키는가?
• RQ2 지식 그래프 기반 방법이 직접 보상이 없지만 진행에 필수적인 블로킹 상태를 얼마나 효과적으로 탐지하는가?
• RQ3 정책 체인을 통한 구조적 탐색이 조합적 크기가 큰 상태-행동 공간에서 기존의 ε-탐욕 전략보다 우수한가?
• RQ4 내재적 동기가 보상이 잘못 배치된 게임에서 국소적으로 최적화된 경로에 조기에 수렴하는 것을 어느 정도 방지하는가?

주요 결과

• MC!Q*BERT는 Zork에서 에이전트가 빛이 없는 어둠진 지하실에 들어가면 먹히는 것으로 유명한 Grue 블로킹 상태를 해결한 최초의 사례를 달성하였다.
• 내재적 동기의 포함이 블로킹 상태 탐지에 크게 기여하여, 계란을 수집하거나 지하실에 조기에 도달하는 등 국소적으로 높은 보상을 주는 경로에 머무르는 것을 방지한다.
• 내재적 동기를 갖지 않은 에이전트들은 램프 확보나 저수지 배출 방법을 학습하지 못해 진행에 필수적인 의존성을 놓친다.
• 개선된 지식 그래프 구축과 내재적 동기의 조합은 아홉 개의 텍스트 기반 게임에서 일관되게 높은 최고 점수를 기록하며 Q*BERT와 KG-A2C를 모두 능가한다.
• 제거 실험 결과, 그래프 개선이나 구조적 탐색만으로는 충분하지 않으며, 둘의 조합가능성에서만 블로킹 상태 해결이 견고하게 이루어진다.
• 지식 그래프 기반 내재적 보상이 희박하고 오도 가능한 보상 신호를 가진 환경에서 탐색을 이끄는 데 핵심적임을 입증한다.