[論文レビュー] Embodied LLM Agents Learn to Cooperate in Organized Teams

Xudong Guo, Kaixuan Huang+7 more|arXiv (Cornell University)|Mar 19, 2024

Multi-Agent Systems and Negotiation被引用数 6

ひとこと要約

本論文は、具現化されたLLMエージェント間でのプロンプトの組織化とリーダー役割が多エージェント協力を改善する方法を研究し、より良い組織プロンプトを設計するためのCriticize-Reflect手法を導入します。

ABSTRACT

Large Language Models (LLMs) have emerged as integral tools for reasoning, planning, and decision-making, drawing upon their extensive world knowledge and proficiency in language-related tasks. LLMs thus hold tremendous potential for natural language interaction within multi-agent systems to foster cooperation. However, LLM agents tend to over-report and comply with any instruction, which may result in information redundancy and confusion in multi-agent cooperation. Inspired by human organizations, this paper introduces a framework that imposes prompt-based organization structures on LLM agents to mitigate these problems. Through a series of experiments with embodied LLM agents and human-agent collaboration, our results highlight the impact of designated leadership on team efficiency, shedding light on the leadership qualities displayed by LLM agents and their spontaneous cooperative behaviors. Further, we harness the potential of LLMs to propose enhanced organizational prompts, via a Criticize-Reflect process, resulting in novel organization structures that reduce communication costs and enhance team efficiency.

研究の動機と目的

• 組織構造がマルチLLMエージェント協力に及ぼす影響を調査する。
• 指定されたリーダーシップがチームの効率とコミュニケーションに与える影響を評価する。
• 独立したリーダー選出が性能を向上させるかを評価する。
• エージェントチームを最適に組織するためのプロンプトベースの手法を開発する。
• 組織的プロンプトと分析における人間とAIの協働を探究する。

提案手法

• 組織化されたコミュニケーションを持つ3名以上のエージェントからなるチームに、具現化されたLLM-エージェントアーキテクチャを拡張する。
• 各コミュニケーションラウンドで階層とリーダーシップを定義する組織プロンプトを課す。
• 制御されたメッセージ伝達を伴う、コミュニケーションフェーズとアクションフェーズの二相運用を実装する。
• 改良された組織プロンプトを生成するため、二重LLM構成（criticとcoordinator）を用いたCriticize-Reflectフレームワークを開発する。
• 家事タスクを含むVirtualHome-Social環境で組織プロンプトを評価する。
• 複数のLLMバックボーン（GPT-4、GPT-3.5-turbo、Llama2-70B）を使用し、タスク時間とトークン通信を測定する。

実験結果

リサーチクエスチョン

• RQ1 組織構造がマルチLLMエージェントチームの効率とコミュニケーションコストに与える影響は何か？
• RQ2 組織プロンプトを最適化して協調を高め、冗長なコミュニケーションを削減するにはどうすればよいか？
• RQ3 エージェントはダイナミックにリーダーを選出できるか、固定リーダーと比較してどうか？
• RQ4 Criticize-Reflectから新しい組織構造が既定の階層を超えるパフォーマンスを生み出すか？
• RQ5 人間のリーダーシップとAIリーダーシップは、エージェントチームの調整においてどのように異なるか？

主な発見

• 指定されたリーダーは、最小限の通信コストの増加（最大3%）で、チームの効率を最大30%向上させる。
• リーダーシップ選出は、より高い通信コストにもかかわらず、特定の構成（例：3 × GPT-4チーム）で効率をさらに向上させる可能性がある。
• 同じタスクでチームを調整する際、AIリーダーより人間リーダーの方が優れている。
• 実験を通じて、GPT-4はGPT-3.5-turboよりも効果的なリーダーである傾向がある。
• リーダーを修正できるようにエージェント間のオープンなコミュニケーションプロンプトは、いくつかの構成で効率を改善できる。
• Criticize-Reflectフレームワークは、通信コストを削減し、複数のタスクセットでタスク効率を改善する新しい組織構造（例：チェーン、デュアルリーダー、ダイナミック）を生み出す。