[論文レビュー] Large Language Models Play StarCraft II: Benchmarks and A Chain of Summarization Approach

Weiyu Ma, Qirui Mi+6 more|arXiv (Cornell University)|Dec 19, 2023

Topic Modeling被引用数 10

ひとこと要約

この論文はTextStarCraft IIを導入し、テキストベースのStarCraft II環境とLLMがStarCraft IIをプレイするためのChain of Summarization（CoS）手法を提案しており、GPT3.5-Turbo-16kおよびGPT-4がProtossとしてHarder（Lv5）Zerg AIを打ち負かすことができると示している。オープンソースのコードとデモも公開。

ABSTRACT

StarCraft II is a challenging benchmark for AI agents due to the necessity of both precise micro level operations and strategic macro awareness. Previous works, such as Alphastar and SCC, achieve impressive performance on tackling StarCraft II , however, still exhibit deficiencies in long term strategic planning and strategy interpretability. Emerging large language model (LLM) agents, such as Voyage and MetaGPT, presents the immense potential in solving intricate tasks. Motivated by this, we aim to validate the capabilities of LLMs on StarCraft II, a highly complex RTS game.To conveniently take full advantage of LLMs` reasoning abilities, we first develop textual StratCraft II environment, called TextStarCraft II, which LLM agent can interact. Secondly, we propose a Chain of Summarization method, including single frame summarization for processing raw observations and multi frame summarization for analyzing game information, providing command recommendations, and generating strategic decisions. Our experiment consists of two parts: first, an evaluation by human experts, which includes assessing the LLMs`s mastery of StarCraft II knowledge and the performance of LLM agents in the game; second, the in game performance of LLM agents, encompassing aspects like win rate and the impact of Chain of Summarization.Experiment results demonstrate that: 1. LLMs possess the relevant knowledge and complex planning abilities needed to address StarCraft II scenarios; 2. Human experts consider the performance of LLM agents to be close to that of an average player who has played StarCraft II for eight years; 3. LLM agents are capable of defeating the built in AI at the Harder(Lv5) difficulty level. We have open sourced the code and released demo videos of LLM agent playing StarCraft II.

研究の動機と目的

• LLMとの対話のためのテキストベースのStarCraft II環境（TextStarCraft II）を開発する。
• マルチフレーム推論と迅速な意思決定を可能にするChain of Summarizationを提案する。
• 専門家評価とゲーム内評価を通じてLLMの知識と戦略能力を評価する。
• 複数のLLMとプロンプトを比較し、プロンプトの影響とアブレーションを分析する。
• 再現性のためのオープンソースコードとデモ動画を提供する。

提案手法

• observation-to-textおよびtext-to-actionアダプターを備えた、python-sc2上に構築されたテキストベースのStarCraft IIインターフェイス（TextStarCraft II）を作成する。
• テキスト観測とマクロアクションを持つ多エージェントPOMDPとしてTextStarCraft IIを定式化する。
• アクションキューのための単フレーム要約、多フレーム要約、そしてアクション抽出からなるChain of Summarization（CoS）を提案する。
• LLM推論コストとゲーム速度のバランスを取るために、2段階の相互作用頻度（Kフレームサイクル）を使用する。
• CoSの下で、GPT3.5-Turbo、GPT3.5-Turbo-16k、GPT-4、Finetune-ChatGlm2 6b、Finetune-Llama2 7bを人間とゲーム内評価の両方で評価する。
• CoSとプロンプトの影響を評価するアブレーション研究を実施する。

実験結果

リサーチクエスチョン

• RQ1 CoSを用いたLLMは、StarCraft IIのシナリオに必要なドメイン知識と計画能力を持つことができるか？
• RQ2 Chain of Summarizationは、効果的な長期的戦略意思決定とより高速な相互作用を可能にするか？
• RQ3 TextStarCraft IIにおける異なるLLM（およびプロンプト）のゲーム内パフォーマンスの比較はどのようか？
• RQ4 プロンプトは戦略の形成と勝率にどのように影響するか？
• RQ5 人間の専門家評価は、LLM主導のゲーム内パフォーマンスと一致するか？

主な発見

方法	API呼び出し回数	時間コスト（時間）
With Chain of Summarization	700	7
Without Chain of Summarization	7,000	70

• LLMsはTextStarCraft II設定において、関連するStarCraft IIの知識と複雑な計画能力を有している。
• 人間の専門家は、LLMエージェントの性能を、StarCraft II経験8年程度の平均的なプレイヤーに近いと評価する。
• Protossとしてプレイした場合、LLMエージェントはHarder（Lv5）難易度の組み込みAIに勝つことができる。
• CoSは意思決定を加速し、非CoS設定と比べてAPI呼び出しを削減する。
• GPT3.5-Turbo-16kとGPT-4はCoS下で高度な推論を示しHarder AIを打つことができる；GPT-4はVery Hardを超えない；微調整済みモデル（ChatGLM2 6b、Llama2 7b）は効果的にプレイするのに苦戦する。
• プロンプト設計は戦略の形成と勝率に顕著な影響を与え、Prompt2がPrompt1を上回る。