[논문 리뷰] Interactive Fiction Games: A Colossal Adventure

Matthew Hausknecht, Prithviraj Ammanabrolu외 2명|arXiv (Cornell University)|2019. 09. 11.

Natural Language Processing Techniques참고 문헌 38인용 수 24

한 줄 요약

이 논문은 언어 기반 에이전트를 연구하기 위해 상호작용 형식의 게임(IFS)을 위한 종합적인 강화학습 환경인 제리코(Jericho)를 소개한다. 자연어 기반 행동 공간의 템플릿 기반 접근법을 제안하고 다양한 인간이 제작한 IF 게임에서 에이전트를 평가함으로써, 조합적 행동 공간과 일반지식 추론에서의 심각한 과제를 드러내며, 주요 발견으로 현재의 에이전트에서 낮은 샘플 효율성과 낮은 일반화 능력을 확인하였다.

ABSTRACT

A hallmark of human intelligence is the ability to understand and communicate with language. Interactive Fiction games are fully text-based simulation environments where a player issues text commands to effect change in the environment and progress through the story. We argue that IF games are an excellent testbed for studying language-based autonomous agents. In particular, IF games combine challenges of combinatorial action spaces, language understanding, and commonsense reasoning. To facilitate rapid development of language-based agents, we introduce Jericho, a learning environment for man-made IF games and conduct a comprehensive study of text-agents across a rich set of games, highlighting directions in which agents can improve.

연구 동기 및 목표

• 언어 기반 에이전트를 훈련하고 평가하기 위한 통합적이고 확장 가능한 학습 환경을 구축하기.
• 순차적 의사결정 과제에서 자연어 생성에 있어 조합적 행동 공간의 과제를 해결하기.
• 성공적인 IF 게임 플레이에서 일반지식 추론과 가능성 이해의 역할을 조사하기.
• 다양한 인간이 제작한 IF 게임에서 텍스트 기반 에이전트의 성능을 평가하기.
• 비정형적이고 텍스트 전용 환경에서 언어 기반 에이전트의 주요 실패 원인과 향상 방향을 규명하기.

제안 방법

• 인터랙티브 플레이어 형식(IF) 커뮤니티에서 수집한 100개 이상의 인간이 제작한 IF 게임을 기반으로 한 제리코(Jericho)라는 학습 환경을 구축한다.
• 정의된 템플릿 기반 행동 공간은 자연어 생성을 의미적으로 타당하고 문법적으로 타당한 행동으로 제한함으로써 샘플 효율성을 향상시킨다.
• IF 게임을 부분 관측 가능한 마르코프 결정 과정(POMDP)으로 모델링하며, 텍스트 관측치, 은닉 상태, 언어 기반 행동을 포함한다.
• 텍스트 관측치와 희소 보상에 기반해 강화학습 기반 에이전트(DQN, PPO 등)를 훈련시켜 행동 정책를 학습시킨다.
• 보상 형태를 점수 변화와 상태 변화 기반으로 설정하여 희소 보상 환경에서의 탐색을 유도한다.
• 복잡하고 장기적인 목표를 가진 IF 게임에서의 성능 향상을 위해 커리큘럼 학습 및 탐색 전략을 적용한다.

실험 결과

연구 질문

• RQ1 현재의 언어 기반 에이전트는 상호작용 형식 게임에서 복잡한 조합적 행동 공간을 얼마나 효과적으로 탐색하는가?
• RQ2 템플릿 기반 행동 공간은 텍스트 기반 강화학습 환경에서 샘플 효율성과 정책 일반화에 얼마나 기여하는가?
• RQ3 에이전트의 주요 실패 유형은 무엇이며, 특히 일반지식 추론과 가능성 이해 측면에서 어떤 문제가 있는가?
• RQ4 다양한 서사 복잡도와 환경 역학을 가진 IF 게임에서 에이전트의 성능은 어떻게 변화하는가?
• RQ5 비정형적이고 텍스트 전용 환경에서 언어 기반 의사결정을 위한 강력한 성능을 내기 위해 표현 학습, 계획 수립, 기억 기능에서 어떤 개선이 필요한가?

주요 결과

• 제리코에서 훈련된 에이전트는 단순한 게임에서 중간 수준의 성능을 달성하기 위해 수십만 개의 환경 스텝이 필요할 정도로 낮은 샘플 효율성을 보였다.
• 자연어의 조합적 행동 공간은 막대한 탐색 과제를 야기하며, 가능한 행동의 극소수만이 의미적으로 타당하거나 맥락적으로 관련성이 있다.
• 일반지식 추론 실패가 빈번히 발생한다: 에이전트가 상자 같은 물체가 열쇠가 필요하다는 것을 인식하지 못하거나, '열기'와 같은 특정 동사가 특정 명사에만 적용된다는 것을 이해하지 못한다.
• 장기적인 목표 계획 수립에서 어려움을 겪으며, 목표를 상실하거나 이전에 관찰한 보상 가능성이 있는 장소를 다시 방문하지 못하는 경우가 많다.
• 게임 간 성능 격차가 뚜렷하게 나타나며, 명확한 목표와 더불어 결정론적인 메커니즘을 가진 게임에서는 높은 점수를 기록하지만, 서사 중심이거나 모호한 환경에서는 실패한다.
• 템플릿 기반 행동 공간의 도입은 정책 안정성 향상과 문법 오류 감소에 기여하지만, 핵심 추론 한계는 완전히 해결하지 못한다.