[論文レビュー] Exploring the Intersection of Large Language Models and Agent-Based Modeling via Prompt Engineering

Edward Junprung|arXiv (Cornell University)|Aug 14, 2023

Topic Modeling被引用数 9

ひとこと要約

この論文は、プロンプト設計を用いたLLM駆動のエージェントシミュレーション（二者間交渉と六者謀殺ミステリー）を実証し、実現可能性を分析するとともに、文脈窓のボトルネックなどの限界を論じている。

ABSTRACT

The final frontier for simulation is the accurate representation of complex, real-world social systems. While agent-based modeling (ABM) seeks to study the behavior and interactions of agents within a larger system, it is unable to faithfully capture the full complexity of human-driven behavior. Large language models (LLMs), like ChatGPT, have emerged as a potential solution to this bottleneck by enabling researchers to explore human-driven interactions in previously unimaginable ways. Our research investigates simulations of human interactions using LLMs. Through prompt engineering, inspired by Park et al. (2023), we present two simulations of believable proxies of human behavior: a two-agent negotiation and a six-agent murder mystery game.

研究の動機と目的

• ABMとLLMsを組み合わせ、人間による相互作用を従来のエージェント規則を超えてモデリングする動機付け。
• エージェントのペルソナとプロンプトを形成して結果を研究するLLM駆動のシミュレーションを導入する。
• LLM駆動のシミュレーションを一対一、一対多、多対多のカテゴリに分類する。
• 4,096トークンの文脈ウィンドウなどのボトルネックを強調し、潜在的な改善を論じる。

提案手法

• 定義されたペルソナを備えた対話ベースのLLMエージェントにOpenAI GPT-3.5-turboを使用する。
• エージェント同士が累積会話履歴を伴って相互応答する autonomous back-and-forth prompting を実装する。
• 対話の一貫性を維持するためにラウンドロビン型の相互作用メカニズムを採用する。
• グループシミュレーションで複数の乗客エージェント間の文脈を保持するためにメモリストリームを活用する。
• ペルソナ設計が現れる戦略と結果に与える影響を分析する。
• 最終的なプロンプトトークン数を報告し、スケーラビリティ制約を議論する。

Figure 1: Autonomous dialog with back-and-forth prompting mechanism. Each box represents a prompt that is passed to LLM agents in a round-robin fashion.

実験結果

リサーチクエスチョン

• RQ1 プロンプト設計は自律的なLLMエージェントをどうすれば信じられる人間の相互作用をシミュレートできるようになるのか。
• RQ2 LLM駆動のシミュレーションを最もよく表すカテゴリ（一対一、一対多、多対多）は何であり、それらの限界は何か。
• RQ3 大規模で人間に近いLLMシミュレーションを制限する主なボトルネック（例: 文脈窓）は何か。
• RQ4 ペルソナの定式化は明示的な目的と異なる現れた戦略を生み出すのか。

主な発見

売主の目的	買主の目的	結果	最終プロンプトトークン
$20を超える売却	最低価格での交渉	$25で売却	522
約$20での売却	最低価格での交渉	$17で売却	369
$20を超える売却	$20以下での購入	取引なし	472

• 二者エージェントの値付け交渉シミュレーションは最終価格を$25に達し、売主の目標$20を超えた。
• 六者謀殺ミステリーのシミュレーションは、文脈を維持するメモリストリームを伴う一対多の対話を示した。
• プロンプト化されたペルソナは、売主が初期に価格を引き上げるなどの現れた交渉戦略を生み出すことがある。
• 単純なシナリオの最終プロンプトトークン数は約300〜約600トークンで、gpt-3.5-turboの4,096トークン制限を大幅に下回る。
• 三つのシナリオ変種は、エージェントの目的を変更することで結果がどう変わるかを示す（例: $20超で売却→$25、約$20で売却→$17、対立する制約で取引なし）。
• 研究は制約を論じ、より長い文脈ウィンドウや大規模シミュレーションのための記憶ストリーム強化の取得などの改善を示唆する。

Figure 2: This illustration depicts interactions between agents, where each response from the captain is conditioned on the memory stream.