[논문 리뷰] Multi-Stage Episodic Control for Strategic Exploration in Text Games

Jens Tuyls, Shunyu Yao외 2명|arXiv (Cornell University)|2022. 01. 04.

Artificial Intelligence in Games인용 수 4

한 줄 요약

이 논문은 텍스트 기반 게임에서 전략적 탐색을 위해 각 에피소드 내에서 이용 및 탐색을 명시적으로 분리하는 다단계 에피소드 제어 알고리즘인 eXploit-Then-eXplore (XTX)를 제안한다. 먼저 자기 모방 학습을 통해 과거의 유망한 트레이젝터리를 이용한 후, 역역학을 이용한 궁금증 기반 탐색으로 전환함으로써, 결정론적 및 확률론적 환경에서 Jericho 벤치마크에서 이전 방법보다 평균적으로 각각 27%와 11% 향상된 정규화 점수를 달 đạt했으며, Zork1에서는 103점의 점수를 기록하여 이전 최고 성능의 2배 이상을 기록했다.

ABSTRACT

Text adventure games present unique challenges to reinforcement learning methods due to their combinatorially large action spaces and sparse rewards. The interplay of these two factors is particularly demanding because large action spaces require extensive exploration, while sparse rewards provide limited feedback. This work proposes to tackle the explore-vs-exploit dilemma using a multi-stage approach that explicitly disentangles these two strategies within each episode. Our algorithm, called eXploit-Then-eXplore (XTX), begins each episode using an exploitation policy that imitates a set of promising trajectories from the past, and then switches over to an exploration policy aimed at discovering novel actions that lead to unseen state spaces. This policy decomposition allows us to combine global decisions about which parts of the game space to return to with curiosity-based local exploration in that space, motivated by how a human may approach these games. Our method significantly outperforms prior approaches by 27% and 11% average normalized score over 12 games from the Jericho benchmark (Hausknecht et al., 2020) in both deterministic and stochastic settings, respectively. On the game of Zork1, in particular, XTX obtains a score of 103, more than a 2x improvement over prior methods, and pushes past several known bottlenecks in the game that have plagued previous state-of-the-art methods.

연구 동기 및 목표

• 희박한 보상과 조합적으로 큰 행동 공간을 가진 텍스트 어드벤처 게임에서 효과적인 탐색과 이용을 방해하는 문제를 해결하기 위해.
• 동적인 고차원 환경에서 탐색과 이용을 균형 있게 유지하기 어려운 단일 정책 접근법의 한계를 극복하기 위해.
• 유망한 프론트리어 상태로 전략적으로 다시 돌아가 지역적으로 탐색할 수 있도록 하는 것.
• 환경에 특화된 가정이나 외부 메모리에 의존하지 않고도 결정론적 및 확률론적 텍스트 게임의 변형에 걸쳐 스케일링 가능한 방법을 개발하기 위해.
• 에피소드 내에서 정책을 명시적으로 분해하는 것이 종료-투-엔드 또는 궁금증 보정 기반 기준보다 우수한 샘플 효율성과 성능을 달성하는 데 기여함을 입증하기 위해.

제안 방법

• XTX는 두 단계의 에피소드 제어 전략을 사용한다: 과거 경험에서 고점수 및 장시간 트레이젝터리의 혼합에 대해 자기 모방 학습을 통해 훈련된 정책을 통해 먼저 이용한다.
• 이용 정책은 트레이젝터리의 소프트 혼합으로 구성되며, 국소 최적점으로의 조기 수렴을 방지하고 프론트리어 상태로의 안정적인 복귀를 가능하게 한다.
• 이용 이후, 에이전트는 시간 차분 손실과 보조적인 역역학 손실을 결합한 탐색 정책으로 전환하여 새로운, 본 적 없는 행동을 탐색하도록 유도한다.
• 단일 보간 파라미터 λ가 이용과 탐색 간의 전환을 제어하여 한 에피소드 내에서 정책의 부드러운 융합을 가능하게 한다.
• 탐색 정책은 내재된 궁금증과 환경 피드백에 기반한 가치 함수를 활용하여 알려진 프론트리어 상태 주변에서 전략적 지역 탐색을 가능하게 한다.
• 이 방법은 기반 게임 시뮬레이터나 게임 트리 아카이브에 대한 액세스가 필요 없어, 다양한 환경에 걸쳐 확장 가능하고 일반화 가능하다.

실험 결과

연구 질문

• RQ1 에피소드 내에서 이용과 탐색을 명시적으로 분리하는 다단계 에피소드 제어 접근법이 희박한 보상과 큰 행동 공간을 가진 텍스트 기반 게임에서 샘플 효율성과 성능 향상에 기여할 수 있는가?
• RQ2 이용 단계에서 혼합 정책을 사용할 경우 복잡한 게임 환경에서 국소 최적점으로의 조기 수렴을 방지할 수 있는가?
• RQ3 역역학 기반 궁금증과 전용 이용 정책을 조합함으로써, 알려지지 않은 게임 상태에서의 전략적 탐색이 얼마나 향상되는가?
• RQ4 제안된 이중 단계 접근법이 결정론적 및 확률론적 게임 환경 모두에서 내재된 궁금증 보상 또는 별도의 탐색 정책을 갖춘 단일 정책 방법보다 우월한가?
• RQ5 Zork1과 같은 도전적인 텍스트 어드벤처 게임을 해결하기 위해, 연속적인 혼합과는 대조적으로 이용 및 탐색 단계의 명시적 분리가 얼마나 중요한가?

주요 결과

• XTX는 Jericho 벤치마크의 12개 결정론적 게임에서 이전 방법보다 평균 27% 향상된 정규화 점수를 달성했다.
• 확률론적 환경에서는 동일한 12개 게임에서 이전 베이스라인 대비 평균 정규화 점수를 11% 향상시켰다.
• Zork1의 결정론적 설정에서 XTX는 103점의 점수를 기록했으며, 이는 이전 최고 성능인 44점의 2배 이상을 초과한 것이다.
• Zork1의 확률론적 변형에서는 XTX가 67점의 점수를 기록했으며, 이는 이전 최고 성능인 41점보다 뚜렷한 향상이다.
• 제거 분석 결과 순수 이용 또는 순수 탐색 정책은 성능이 열등하며, 이용 단계에서 정책을 혼합하는 것이 게임 특화의 봉합점을 극복하는 데 핵심적임을 보여주었다.
• 이 방법은 이전에 다른 에이전트가 막히는 Zork1의 알려진 봉합점, 예를 들어 동굴에서 트롤을 물리치는 것 등을 성공적으로 넘어서는 데 기여했다.