[논문 리뷰] SPRING: Studying the Paper and Reasoning to Play Games

Yue Wu, Shrimai Prabhumoye외 6명|arXiv (Cornell University)|2023. 05. 24.

Artificial Intelligence in Games인용 수 10

한 줄 요약

SPRING은 DAG 기반 추론 프레임워크로 안내된 대형 언어 모델을 사용하여 게임 논문을 읽고 Crafter에서 행동함으로써, 1M 단계 동안 학습된 이전 RL 베이스라인을 능가하는 제로샷 GPT-4 성능을 달성한다. 이 접근법은 training이 필요 없다.

ABSTRACT

Open-world survival games pose significant challenges for AI algorithms due to their multi-tasking, deep exploration, and goal prioritization requirements. Despite reinforcement learning (RL) being popular for solving games, its high sample complexity limits its effectiveness in complex open-world games like Crafter or Minecraft. We propose a novel approach, SPRING, to read the game's original academic paper and use the knowledge learned to reason and play the game through a large language model (LLM). Prompted with the LaTeX source as game context and a description of the agent's current observation, our SPRING framework employs a directed acyclic graph (DAG) with game-related questions as nodes and dependencies as edges. We identify the optimal action to take in the environment by traversing the DAG and calculating LLM responses for each node in topological order, with the LLM's answer to final node directly translating to environment actions. In our experiments, we study the quality of in-context "reasoning" induced by different forms of prompts under the setting of the Crafter open-world environment. Our experiments suggest that LLMs, when prompted with consistent chain-of-thought, have great potential in completing sophisticated high-level trajectories. Quantitatively, SPRING with GPT-4 outperforms all state-of-the-art RL baselines, trained for 1M steps, without any training. Finally, we show the potential of games as a test bed for LLMs.

연구 동기 및 목표

• 학술 논문에서 인간이 작성한 지식을 open-world 게임에서 에이전트 행동을 안내하는 데 활용하는 연구 동기를 제시한다.
• LLM이 LaTeX 소스에서 게임 관련 지식을 추출하고 이를 바탕으로 행동을 요구하는 두 단계 파이프라인을 제안한다.
• 구조화된 문맥 추론을 통해 DAG를 활용하면 Crafter에서 LLM의 계획 및 실행 능력이 향상된다는 것을 Demonstrate 한다.

제안 방법

• Hafner(2021)의 관련 LaTeX 단락을 읽어 게임 기계학 및 기술 트리 의존성을 포착하는 맥락 문자열을 생성한다.
• 각 노드가 게임플레이 관련 질문이고 간선이 의존성을 부여하여 일관된 사고의 흐름(chain-of-thought)을 강제하는 QA-DAG를 구성한다.
• 매 단계에서 DAG를 위상 정렬 순서로 순회하여 LLM의 답변을 도출하고 최종 노드를 17개의 이산적 행동 중 하나에 매핑한다.
• LLM 입력을 위해 게임 관찰을 일반 텍스트로 번역하는 시각적 기술자를 사용한다.
• 질문-맥락 쌍을 하나의 맥락 C로 연결하고 C 및 최근 관찰에 대해 LLM의 답변을 조건부로 제시한다.
• 맥락, DAG 구조, GPT-4 대 GPT-3.5의 중요성을 연구하기 위한 프롬프트 변형 및 절차 비교를 평가한다.

실험 결과

연구 질문

• RQ1 LLM이 학술 LaTeX 소스를 읽고 Crafter에서 의사결정을 안내할 수 있는 실행 가능한 게임 지식을 추출할 수 있는가?
• RQ2 DAG 기반의 맥락 내 사고 흐름 프롬프트 전략이 RL 훈련 없이도 오픈 월드 게임의 계획 및 행동 선택을 향상시키는가?
• RQ3 GPT-4가 제로샷 설정에서 이전 RL 베이스라인과 비교해 어떤 성능 차이를 보이는가?
• RQ4 맥락 품질 및 프롬프트 설계가 LLM 기반 게임 수행에 미치는 영향은 무엇인가？

주요 결과

• GPT-4를 활용한 SPRING은 1M 단계 동안 학습 없이도 모든 최첨단 RL 베이스라인을 능가한다.
• SPRING은 다섯 차례의 실행에서 학습 없이 27.3%의 게임 점수와 12.3 보상(±0.7)을 달성한다.
• SPRING은 이전 SOTA RL 방법 대비 게임 점수에서 88%의 상대적 향상을 달성한다.
• 이 접근법은 depth-5 기술 트리 작업에서 상당한 잠금 해제를 가능하게 하며 제작 및 광석 채굴과 같은 어려운 작업에서 베이스라인을 능가한다.
• 절단(ablation) 결과 맥락 C, DAG 기반 프롬프트, 및 GPT-4가 최상의 성능에 모두 중요하며, GPT-3.5는 현저히 더 낮은 성능을 보인다.