[論文レビュー] SPRING: Studying the Paper and Reasoning to Play Games

Yue Wu, Shrimai Prabhumoye+6 more|arXiv (Cornell University)|May 24, 2023

Artificial Intelligence in Games被引用数 10

ひとこと要約

tldr: SPRING は DAG-based な推論フレームワークに導かれた大規模言語モデルを用いて、ゲーム論文を読んで Crafter で行動し、1M ステップ訓練された従来の RL ベースラインを超えるゼロショット GPT-4 の性能を達成します。 このアプローチは訓練を必要としません。

ABSTRACT

Open-world survival games pose significant challenges for AI algorithms due to their multi-tasking, deep exploration, and goal prioritization requirements. Despite reinforcement learning (RL) being popular for solving games, its high sample complexity limits its effectiveness in complex open-world games like Crafter or Minecraft. We propose a novel approach, SPRING, to read the game's original academic paper and use the knowledge learned to reason and play the game through a large language model (LLM). Prompted with the LaTeX source as game context and a description of the agent's current observation, our SPRING framework employs a directed acyclic graph (DAG) with game-related questions as nodes and dependencies as edges. We identify the optimal action to take in the environment by traversing the DAG and calculating LLM responses for each node in topological order, with the LLM's answer to final node directly translating to environment actions. In our experiments, we study the quality of in-context "reasoning" induced by different forms of prompts under the setting of the Crafter open-world environment. Our experiments suggest that LLMs, when prompted with consistent chain-of-thought, have great potential in completing sophisticated high-level trajectories. Quantitatively, SPRING with GPT-4 outperforms all state-of-the-art RL baselines, trained for 1M steps, without any training. Finally, we show the potential of games as a test bed for LLMs.

研究の動機と目的

• オープンワールドゲームにおけるエージェント挙動を有益にするために、学術論文に記された人間が書いた知識を活用する研究の動機付け。
• LaTeX ソースからゲームに関連する知識を抽出し、行動を推論する二段階パイプラインを提案する。
• DAG を用いた構造化された文脈内推論が Crafter における LLM の計画と実行を改善することを示す。

提案手法

• ゲームの機構と技術ツリーの依存関係を捉えるために、Hafner (2021) の関連 LaTeX 段落を読むことでコンテキスト文字列を生成する。
• 各ノードがゲームプレイに関連する質問で、エッジが依存関係を符号化して一貫した思考の連鎖を強制する QA-DAG を構築する。
• 各ステップでトポロジカル順序で DAG を走査して LLM の回答を生成し、最終ノードを 17 個の離散アクションのいずれかにマッピングする。
• 視覚的記述子を用いてゲーム観測を LLM 入力用の平文テキストへ翻訳する。
• 質問-文脈ペアを結合してコンテキスト C を作成し、最近の観測とともに C に条件づけて LLM の回答を得る。
• 文提示の変種とアブレーションを評価し、文脈、DAG 構造、GPT-4 と GPT-3.5 の比較の重要性を検討する。

実験結果

リサーチクエスチョン

• RQ1 LLM は LaTeX ソースの学術的なゲームプレイ知識を読み取り、Crafter の意思決定を informing できるか。
• RQ2 DAG ベースの文脈内思考プロンプト戦略は RL 訓練なしでオープンワールドゲームの計画と行動選択を改善するか。
• RQ3 GPT-4 は Crafter における以前の RL ベースラインとゼロショット設定でどのように比較されるか。
• RQ4 文脈の質と prompting デザインが LLM ベースのゲームプレイ性能に与える影響はどのようか。

主な発見

• SPRING は GPT-4 で、訓練なしで 先行する最先端の RL ベースラインをすべて 上回る。
• SPRING は 5 回の試行で 27.3% のゲームスコアと 12.3 報酬（±0.7）を達成、訓練なし。
• SPRING は以前の SOTA RL 手法と比べてゲームスコアで 88% の相対的改善を達成。
• このアプローチは深さ-5 の技術ツリー任務で大きな解放を可能にし、クラフトと採掘のような難しいタスクのベースラインを上回る。
• アブレーションにより、文脈 C、DAG ベースの prompting、GPT-4 が最良の性能には重要であることが示され、GPT-3.5 は大幅に劣る。