[논문 리뷰] NAIL: A General Interactive Fiction Agent

Matthew Hausknecht, Ricky Loynd외 3명|arXiv (Cornell University)|2019. 02. 12.

Natural Language Processing Techniques참고 문헌 12인용 수 29

한 줄 요약

NAIL은 탐색, 물체 검사, 상호작용, 지식 그래프 유지를 위한 전문화된 의사결정 모듈을 갖춘 모듈식 아키텍처를 사용함으로써 파서 기반 텍스트 어드벤처 게임에서 뛰어난 성능을 발휘하는 일반 목적의 인터랙티브 플롯 에이전트이다. 2018년 텍스트 어드벤처 AI 경연 대회에서 20개의 미리보지 않은 게임에 대해 평균 2.56%의 완료율을 기록하며 기존 에이전트인 CARL과 Golovin을 크게 앞서며 최고 성능을 달성했다. 이는 명시적인 지식 그래프, 광범위한 검사 행동 사용, 그리고 행동 성공 예측을 위한 학습된 유효성 검출기 덕분이었다.

ABSTRACT

Interactive Fiction (IF) games are complex textual decision making problems. This paper introduces NAIL, an autonomous agent for general parser-based IF games. NAIL won the 2018 Text Adventure AI Competition, where it was evaluated on twenty unseen games. This paper describes the architecture, development, and insights underpinning NAIL's performance.

연구 동기 및 목표

• 사전 게임 전용 훈련 없이도 인간이 제작한 임의의 파서 기반 인터랙티브 플롯 게임을 자율적으로 플레이할 수 있는 일반 목적의 에이전트를 개발하는 것.
• 텍스트 기반 환경에서의 조합적 행동 공간, 부분 관측 가능성, 일반 지식 추론 등의 과제를 해결하는 것.
• 구조화된 지식 표현을 통해 빠른 탐색, 효과적인 물체 상호작용, 정확한 상태 추적을 가능하게 하여, 새로운 IF 게임에서의 성능 향상에 기여하는 것.
• 특히 다양한 새로운 게임에서 점수 축적과 일반화 능력 면에서 기존 에이전트를 능가하기 위해 2018년 텍스트 어드벤처 AI 경연 대회에서 승리하는 것.

제안 방법

• NAIL은 게임 상태의 맥락적 신호에 따라 활성화되는 전문화된 의사결정 모듈—탐색기, 검사기, 상호작용기, 보관기, 무작위 행동기 및 특수 모듈—을 포함하는 모듈식 아키텍처를 사용한다.
• 에이전트는 위치, 물체, 소지품, 행동 결과를 기록하는 명시적이고 인간이 이해할 수 있는 지식 그래프를 유지하며, 의사결정 모듈에 의해 동적으로 업데이트된다.
• 검사기 모듈은 후보 물체에 대해 철저한 '검사' 행동을 수행하며, 단어 임베딩과 의미 유사도를 사용해 상호작용 가능성이 높은 항목을 우선순위로 정한다.
• 상호작용기 모듈은 지식 그래프에 따라 가이드된 맥락에 맞는 행동을 생성하기 위해 미세조정된 언어 모델을 사용한다.
• 학습된 유효성 검출기는 행동이 성공할 가능성이 있는지 예측하여, 잘못된 행동을 줄이고 지식 그래프의 정확도를 향상시킨다.
• 에이전트는 계층적 의사결정 제어 시스템을 사용하며, '어둠컴퓨터'나 '무엇도 보이지 않는다'와 같은 게임 상태 신호에 따라 모듈이 상호작용을 담당한다.

실험 결과

연구 질문

• RQ1 모듈식이고 지식 증강된 에이전트는 새로운 다양성 있는 인터랙티브 플롯 게임에서 기존 IF 에이전트를 능가하는 일반화 성능를 달성할 수 있는가?
• RQ2 물체에 대한 광범위한 검사 행동이 텍스트 기반 게임에서 행동 선택과 퍼즐 해결에 얼마나 기여하는가?
• RQ3 게임 전용 보상 신호에 의존하지 않고도 학습된 유효성 검출기가 성공한 행동와 실패한 행동를 효과적으로 구분할 수 있는가?
• RQ4 각 의사결정 모듈이 전체 성능에 기여하는 정도는 어떠한가? 특히 점수 축적에 가장 중요한 구성 요소는 무엇인가?
• RQ5 일반 목적의 에이전트가 단 1,000단계의 행동만으로도 실제 인간의 플레이 타임을 시뮬레이션하며 높은 성능을 달성할 수 있는가?

주요 결과

• NAIL은 2018년 텍스트 어드벤처 AI 경연 대회에서 20개의 미리보지 않은 게임에 대해 평균 2.56%의 완료율을 기록했으며, 이는 기존 에이전트인 CARL(1.59%)과 Golovin(1.45%)을 크게 앞서는 성과였다.
• 에이전트의 핵심 모듈인 탐색기, 검사기, 상호작용기는 가장 큰 성능 향상을 이끌었으며, 탐색기만 사용했을 경우 1.2%였던 점수는 모든 모듈가 동작할 경우 3.5%로 상승했다.
• NAIL은 전체 행동의 26%를 '검사' 명령어로 사용했으며, 이는 CARL(8%), Golovin(2%), BYUAgent(0.2%)보다 훨씬 높은 비율로, 깊은 물체 검사의 가치를 입증한다.
• 유효성 검출기는 행동 선택 정확도를 크게 향상시켜 잘못된 행동을 줄이고 지식 그래프의 신뢰성을 높였다.
• 절단 실험 결과, 검사기나 상호작용기 모듈을 제거할 경우 성능 저하가 가장 심각했으며, 이는 이들 모듈이 퍼즐 해결에 핵심적인 역할을 한다는 것을 확인했다.
• 단 100단계만으로도 NAIL은 평균 0.95%의 완료율을 기록했으며, 이는 Golovin(0.99%)과 RandomAgent(1.66%)를 능가하는 것으로, 뛰어난 샘플 효율성을 보였다.