[논문 리뷰] Learn How to Cook a New Recipe in a New House: Using Map Familiarization, Curriculum Learning, and Bandit Feedback to Learn Families of Text-Based Adventure Games

Xusen Yin, Jonathan May|arXiv (Cornell University)|2019. 08. 13.

Artificial Intelligence in Games인용 수 5

한 줄 요약

이 논문은 지ap 테마(예: 요리) 내에서 미리 보지 않은 텍스트 기반 어드벤처 게임을 마스터할 수 있도록 하는 강화학습 프레임워크를 제안한다. 이는 지도 학습, 커리큘럼 학습, 그리고 맥락 기반 밴디트 탐색을 결합한 것이다. 점차 복잡도가 높아지는 게임 인스턴스에서 훈련하고 LinUCB를 사용해 불확실성 인식 탐색을 수행함으로써, 기존의 기준 모델들에 비해 훨씬 높은 제로샷 성능을 달성한다.

ABSTRACT

We consider the task of learning to play families of text-based computer adventure games, i.e., fully textual environments with a common theme (e.g. cooking) and goal (e.g. prepare a meal from a recipe) but with different specifics; new instances of such games are relatively straightforward for humans to master after a brief exposure to the genre but have been curiously difficult for computer agents to learn. We find that the deep Q-learning strategies that have been successfully leveraged for superhuman performance in single-instance action video games can be applied to learn families of text video games when adopting simple strategies that correlate with human-like learning behavior. Specifically, we build agents that learn to tackle simple scenarios before more complex ones using curriculum learning, that familiarize themselves in an unfamiliar environment by navigating before acting, and that explore uncertain environments more thoroughly using contextual multi-armed bandit decision policies. We demonstrate improved task completion rates over reasonable baselines when evaluating on never-before-seen games of that theme.

연구 동기 및 목표

• 특정 테마(예: 요리) 내에서 특정 인스턴스에 과적합하지 않고, 새로운 텍스트 기반 어드벤처 게임으로 일반화할 수 있도록 에이전트를 가능하게 하는 것.
• 커리큘럼 학습을 통해 인간과 유사한 학습 진행 방식을 모방함으로써 제로샷 일반화 능력을 향상시키는 것.
• 지식 그래프 구축을 통해 보편적 지식와 인스턴스별 지식을 구분함으로써, 낯선 환경에서의 탐색을 향상시키는 것.
• 평가 중 맥락 기반 다중 암초 밴디트 피드백을 통합하여 불확실성 하에 탐색을 이끌어내어, 새로운 게임에서의 성능을 향상시키는 것.

제안 방법

• 에이전트는 더 단순한 게임 인스턴스(예: 티어-4)에서 먼저 훈련한 후 더 복잡한 인스턴스(예: 티어-6)로 진행함으로써 커리큘럼 학습을 사용하여 전체적인 일반화 능력을 향상시킨다.
• 지도 학습은 환경 설명에서 지식 그래프를 구성함으로써 달성되며, 이는 보편적 지식(예: '주방은 요리용')과 인스턴스별 사실(예: '주방은 침실의 동쪽')을 구분할 수 있도록 한다.
• 추론 시, 에이전트는 LinUCB 맥락 기반 밴디트 정책을 적용하여 탐색과 이용의 균형을 이루며, 높은 불확실성의 행동을 우선순위로 삼아 점수 향상을 도모한다.
• DQN 에이전트는 행동-관측 트레이제터의 CNN 기반 상태 표현을 사용하며, Q-값 예측을 통해 행동 선택을 수행한다.
• 탐색 전략을 비교: $͑$-greedy, 온도를 사용한 정책 샘플링, LinUCB; LinUCB가 뛰어난 성능을 보였다.
• 지식 그래프 구축은 환경의 구조를 인코딩하고 행동 계획을 안내함으로써 샘플 효율성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 커리큘럼 학습이 단일 인스턴스 훈련을 넘어서 제로샷 일반화 능력을 향상시킬 수 있는가?
• RQ2 지식 그래프 구축을 통한 지도 학습이 새로운 환경에서의 학습에 어떻게 기여하는가?
• RQ3 평가 중 맥락 기반 밴디트 피드백을 통합하면 새로운 게임에서의 성능 향상이 이루어지는가?
• RQ4 다른 탐색 전략($͑$-greedy, 정책 샘플링, LinUCB) 중에서 제로샷 환경에서의 작업 완료에 미치는 상대적 영향은 어떠한가?

주요 결과

• LinUCB 밴디트 정책이 가장 높은 성능을 기록했으며, 테스트 1에서 평균 성공률 72%, 테스트 2에서 68%를 기록하여 $͑$-greedy 및 샘플링 방법을 압도했다.
• 티어 기반 훈련(예: 티어-4에서 시작)을 통한 커리큘럼 학습은 모든 티어를 동시에 훈련하는 것보다 더 나은 전반적 성능을 이끌어냈으며, 모든 티어에서 피니어 튜닝을 거친 후 최고의 결과를 보였다.
• 지식 그래프 구축은 보편적 지식와 인스턴스별 지식를 구분할 수 있도록 하여 학습을 향상시켰고, 더 나은 일반화를 지원했다.
• LinUCB를 통한 탐색은 $͑$-greedy 및 정책 샘플링보다 뚜렷하게 뛰어난 성능을 보였으며, 특히 복잡한 티어에서 불확실한 행동을 더 철저하고 정보 기반으로 탐색했기 때문이다.
• 커리큘럼 학습에서의 최근성 효과를 관찰했다: 어떤 티어의 성능은 그 티어가 훈련의 마지막 단계일 때 가장 높았다. 이는 후반 훈련 단계가 더 강한 영향을 미친다는 것을 시사한다.
• 커리큘럼 훈련 후 LinUCB 탐색을 사용할 경우, 전체 테스트 세트에서 평균 성공률 68%를 기록하여 강력한 제로샷 일반화 능력을 입증했다.