[논문 리뷰] How To Avoid Being Eaten By a Grue: Exploration Strategies for Text-Adventure Agents

Prithviraj Ammanabrolu, Ethan Tien외 2명|arXiv (Cornell University)|2020. 02. 19.

Artificial Intelligence in Games참고 문헌 13인용 수 13

한 줄 요약

이 논문은 텍스트 어드벤처 에이전트가 Zork1의 조합적 크기의 행동 공간과 라이트를 켜야만 피할 수 있는 그루의 공격을 피하는 등의 핵심 블로킹 포인트를 극복할 수 있도록 두 가지 새로운 탐색 전략—정책 체이닝과 지식 그래프 기반 셀 표현을 활용한 Go-Explore—을 제안한다. 최고의 성능을 보인 KG-A2C-Explore는 44점의 점수를 기록하여 이전의 방법들을 능가하며, 지식 그래프와 타겟팅된 탐색의 조합이 부분 관찰 환경에서 효율적인 장기 결정 내리기 가능성을 보여준다.

ABSTRACT

Text-based games -- in which an agent interacts with the world through textual natural language -- present us with the problem of combinatorially-sized action-spaces. Most current reinforcement learning algorithms are not capable of effectively handling such a large number of possible actions per turn. Poor sample efficiency, consequently, results in agents that are unable to pass bottleneck states, where they are unable to proceed because they do not see the right action sequence to pass the bottleneck enough times to be sufficiently reinforced. Building on prior work using knowledge graphs in reinforcement learning, we introduce two new game state exploration strategies. We compare our exploration strategies against strong baselines on the classic text-adventure game, Zork1, where prior agent have been unable to get past a bottleneck where the agent is eaten by a Grue.

연구 동기 및 목표

• Zork1과 같은 텍스트 기반 게임에서 표준 강화 학습 에이전트가 효과적으로 탐색하지 못하는 조합적 크기의 행동 공간 문제를 해결하기 위해.
• 지식 그래프를 탐색 전략에 통합하여 부분 관찰 환경에서의 표본 효율성을 향상시키기 위해.
• 지속적인 보상이 지연되는 상황에서 장기 결정 내리기 블로킹 포인트—예를 들어 그루를 만날 전에 램프를 켜야 하는 것—를 성공적으로 통과시킬 수 있도록 하기 위해.
• 지식 그래프 기반 상태 표현이 텍스트 전용 표현보다 탐색 성능을 향상시키는지 평가하기 위해.
• 순환하지 않는 퍼즐 기반 게임 구조를 탐색할 때 정책 체이닝과 Go-Explore 기반 탐색의 효과성을 비교하기 위해.

제안 방법

• 저자들은 지식 그래프 보강 A2C 에이전트인 KG-A2C를 확장하여 두 가지 탐색 전략—정책 체이닝과 지식 그래프 기반 셀 표현을 활용한 Go-Explore—을 도입한다.
• 정책 체이닝은 백트래킹을 통해 잠재적 블로킹 포인트를 탐지하고, 이를 해결하기 위해 정책을 명시적으로 훈련함으로써 순차적 결정 내리기 작업에서 표본 효율성을 향상시킨다.
• Go-Explore는 게임 상태와 함께 지식 그래프 스냅샷을 셀 표현으로 사용함으로써, 텍스트 전용 인코딩보다 더 의미 있는 상태 추상화를 가능하게 한다.
• 지식 그래프는 매 단계에서 관찰에서 OpenIE를 사용해 삼항조합을 추출함으로써 동적으로 업데이트되며, 이는 실체, 관계 및 그들의 위치나 상태를 표현한다.
• 탐색은 셀의 가중치 샘플링에 의해 유도되며, 더 높은 우선순위를 가진 셀은 더 나은 점수 또는 게임 진행도가 높은 셀이다.
• 에이전트는 237개의 템플릿과 최대 두 개의 실체 채우기 요소를 사용하는 템플릿 기반 행동 공간을 사용하여, 단계당 행동 공간을 1.64×10^14에서 1.15×10^8로 줄인다.

실험 결과

연구 질문

• RQ1 지식 그래프 보강 탐색 전략은 조합적 크기의 행동 공간을 가진 텍스트 기반 게임에서 표본 효율성을 크게 향상시킬 수 있는가?
• RQ2 Go-Explore에 지식 그래프 기반 셀 표현을 사용할 경우, 텍스트 전용 인코딩보다 더 나은 탐색 성능을 달성할 수 있는가?
• RQ3 정책 체이닝—명시적으로 블로킹 포인트를 탐지하고 해결하는 방식—은 순환하지 않는 게임 구조에서 랜덤 또는 히وري스틱 기반 탐색보다 더 표본 효율적인가?
• RQ4 지식 그래프 상태 표현을 가진 에이전트는 Zork1에서 40점 블로킹 포인트를 넘어서며, 램프를 빨리 켜지 못해 실패하는 문제를 해결할 수 있는가?
• RQ5 부분 관찰 조건에서 장기 계획을 수행하는 데 있어 지식 그래프 표현 방식은 순수 텍스트 인코딩 기반 베이스라인과 비교해 어떻게 성능을 냈는가?

주요 결과

• KG-A2C-Explore 방법은 최종 점수 44점을 기록하여 Zork1에서 40점 블로킹 포인트를 성공적으로 통과했으며, 이는 이전의 에이전트들이 극복하지 못한 과제였다.
• KG-A2C-chained는 41.8점의 점수를 기록하여, 지식 그래프를 활용한 정책 체이닝이 Go-Explore 기반 탐색보다 더 빠른 수렴과 높은 표본 효율성을 제공함을 보여주었다.
• A2C-Explore 기반 베이스라인은 최대 40점까지 도달했지만 블로킹 포인트를 통과하지 못했으며, 이는 텍스트 전용 셀 표현만으로는 장기 탐색에 부적합함을 시사한다.
• 지식 그래프 기반 상태 표현은 텍스트 전용 표현보다 뚜렷이 뛰어나며, 강화 탐색 없이도 KG-A2C는 34점, A2C는 32점의 점수를 기록했다.
• 정책 체이닝은 Go-Explore 기반 탐색보다 더 표본 효율적이었으며, 이는 명시적인 블로킹 포인트 탐지가 구조적이고 순환하지 않는 게임 환경에서 학습을 가속화함을 시사한다.
• 아블레이션 연구는 지식 그래프가 부분 관찰 조건에서 필수적이며, 구조적 상태 표현 없이 강화 탐색만으로는 충분하지 않음을 확인했다.