[論文レビュー] GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations

Jinhao Duan, Renming Zhang+7 more|arXiv (Cornell University)|Feb 19, 2024

Auction Theory and ApplicationsDecision Sciences被引用数 3

ひとこと要約

GTBenchは、完全情報／不完全情報、決定的／確率的、静的／動的ゲームを含む10の多様なタスクをカバーする包括的なゲーム理論的ベンチマークを導入し、大規模言語モデル（LLMs）の性能を評価する。その結果、Nim やタックティクトックなどの完全で決定的なゲームではLLMsが失敗するが、クーンポーカーや交渉のような確率的または不完全情報の状況では競争力を持つことが判明した。コード事前学習は性能を向上させるが、Chain-of-Thoughtなどの高度な推論手法は常に役立つわけではない。

ABSTRACT

As Large Language Models (LLMs) are integrated into critical real-world applications, their strategic and logical reasoning abilities are increasingly crucial. This paper evaluates LLMs' reasoning abilities in competitive environments through game-theoretic tasks, e.g., board and card games that require pure logic and strategic reasoning to compete with opponents. We first propose GTBench, a language-driven environment composing 10 widely recognized tasks, across a comprehensive game taxonomy: complete versus incomplete information, dynamic versus static, and probabilistic versus deterministic scenarios. Then, we (1) Characterize the game-theoretic reasoning of LLMs; and (2) Perform LLM-vs.-LLM competitions as reasoning evaluation. We observe that (1) LLMs have distinct behaviors regarding various gaming scenarios; for example, LLMs fail in complete and deterministic games yet they are competitive in probabilistic gaming scenarios; (2) Most open-source LLMs, e.g., CodeLlama-34b-Instruct and Llama-2-70b-chat, are less competitive than commercial LLMs, e.g., GPT-4, in complex games, yet the recently released Llama-3-70b-Instruct makes up for this shortcoming. In addition, code-pretraining greatly benefits strategic reasoning, while advanced reasoning methods such as Chain-of-Thought (CoT) and Tree-of-Thought (ToT) do not always help. We further characterize the game-theoretic properties of LLMs, such as equilibrium and Pareto Efficiency in repeated games. Detailed error profiles are provided for a better understanding of LLMs' behavior. We hope our research provides standardized protocols and serves as a foundation to spur further explorations in the strategic reasoning of LLMs.

研究の動機と目的

• 物語ベースのロールプレイングゲームを超えた論理的・論理的焦点をもつ評価環境の不足を補うため。
• LLMsの戦略的・論理的推論の観点から、多様なゲーム理論的状況における性能を特徴づけるため。
• 競争的かつインタラクティブな環境における推論能力を評価する新しいベンチマークとして、LLM対LLMの競争を確立するため。
• モデルタイプ、事前学習、推論手法などの要因がLLMsの戦略的ゲームにおける性能に与える影響を特定するため。

提案手法

• 10の広く認識されたゲーム理論的タスクを含む、言語駆動型環境「GTBench」の設計。ゲームタイプの包括的分類に基づく。
• 完全情報対不完全情報、決定的対確率的、静的対動的という次元に沿ってゲームを分類。
• 2種類の評価設定を実施：LLM対従来手法（例：MCTSソルバ）およびLLM対LLMの競争を用いて、競争下での推論能力を評価。
• ブラインドオークションや繰り返し囚人のジレンマのようなゲームにおいて、レグルート値メトリクスを用いて意思決定の質を定量的に評価。
• 解釈ミス、計算ミス、過信といった失敗の原因を特定するため、詳細なエラープロファイルを分析。
• コード事前学習やChain-of-Thought、Tree-of-Thoughtなどの推論手法を用い、戦略的パフォーマンスへの影響を評価。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、完全情報対不完全情報、決定的対確率的ゲームにおいて、どのように性能を発揮するか？
• RQ2 Chain-of-Thought や Tree-of-Thought といった高度な推論手法は、戦略的ゲームにおけるLLMsのパフォーマンスをどの程度向上させるか？
• RQ3 コード事前学習は、標準的なLLMsと比較して、LLMsの戦略的推論能力にどのように影響を与えるか？
• RQ4 オープンソースLLMsは、競争的かつルールベースの戦略的環境において、商業的LLMs（例：GPT-4）と比較してどうか？
• RQ5 LLMsのゲーム理論的タスクにおける推論において、顕著なエラーのパターンは何か？また、それらは意思決定の質にどのように影響するか？

主な発見

• LLMsは、Nim やタックティクトックなどの完全で決定的なゲームにおいて、MCTSソルバに常に敗北しており、純粋な論理的推論における根本的な限界を示している。
• LLMsは、クーンポーカーや交渉のような不完全情報・確率的ゲームでは、依然として競争力を持つ。これは、不確実性への適応性が、決定的論理への適応性よりも優れていることを示唆している。
• コード事前学習されたLLMs（例：CodeLlama-34b-Instruct）は、GPT-3.5-turboと同等のパフォーマンスを達成しており、コード事前学習が戦略的推論を強化することを示している。
• Chain-of-Thought や Tree-of-Thought といった高度な推論手法は、一貫したパフォーマンス向上をもたらさず、場合によっては性能を低下させることがある。
• オープンソースLLMsは、大規模な行動／状態空間を有する複雑なゲームではGPT-4などの商業モデルに劣るが、選択肢が限られた単純なゲームでは同等の性能を示す。
• 一般的なエラーのパターンには、事実の誤認知（例：ゲーム状態の誤解釈）、計算ミス（例：Nimにおける誤ったXOR計算）、盤面位置の誤解釈、相手の協力への過信が含まれる。