[論文レビュー] Self-Adaptive Large Language Model (LLM)-Based Multiagent Systems

Nathalia Nascimento, Paulo Alencar+1 more|arXiv (Cornell University)|Jul 12, 2023

Multi-Agent Systems and Negotiation被引用数 4

ひとこと要約

本稿では、GPT-4などの大規模言語モデル（LLM）をMAPE-K制御ループに統合することで、動的環境において自律的に監視・分析・計画・実行を行うことのできる自己適応型マルチエージェントシステム（MAS）を提案する。エージェントにLLMを搭載した通信機能を備えることで、進化的な通信開発を経ずに、自己組織的で知的な意思決定が可能となり、MASにおける適応性と表現力が著しく向上する。

ABSTRACT

In autonomic computing, self-adaptation has been proposed as a fundamental paradigm to manage the complexity of multiagent systems (MASs). This achieved by extending a system with support to monitor and adapt itself to achieve specific concerns of interest. Communication in these systems is key given that in scenarios involving agent interaction, it enhances cooperation and reduces coordination challenges by enabling direct, clear information exchange. However, improving the expressiveness of the interaction communication with MASs is not without challenges. In this sense, the interplay between self-adaptive systems and effective communication is crucial for future MAS advancements. In this paper, we propose the integration of large language models (LLMs) such as GPT-based technologies into multiagent systems. We anchor our methodology on the MAPE-K model, which is renowned for its robust support in monitoring, analyzing, planning, and executing system adaptations in response to dynamic environments. We also present a practical illustration of the proposed approach, in which we implement and assess a basic MAS-based application. The approach significantly advances the state-of-the-art of self-adaptive systems by proposing a new paradigm for MAS self-adaptation of autonomous systems based on LLM capabilities.

研究の動機と目的

• マルチエージェントシステム（MAS）における表現力と協調性の制限を、エージェント間通信に大規模言語モデル（LLM）を統合することで解決すること。
• LLM機能を強化したMAPE-K制御ループを用いて、自律的エージェントが動的環境で自己適応することを可能にすること。
• 事前にLLMを搭載したエージェントが、進化的な通信開発を経ずに、複雑かつ協調的なタスクを即座に実行できるかどうかを検証すること。
• 実世界のMASシナリオ（例：動的市場）におけるLLM統合エージェントの実現可能性とパフォーマンスを評価すること。
• 今後の方向性として、非共有のLLMアカウント、応用範囲の拡張、人間を含めた制御（human-in-the-loop）による解釈可能性と制御性の向上を検討すること。

提案手法

• 本システムはMAPE-Kモデルに基づく。各エージェントは、組み込みLLMをコア推論エンジンとして用い、監視・分析・計画・実行（MAPE）の各行動を実施する。
• 各エージェントは、センサーからの入力を解釈し、他のエージェントからの通信を受けて応答を生成し、環境入力に基づいて行動を計画するためにGPT-4を生成的AIコンponentとして活用する。
• LLMは自然言語入力（他のエージェントからのメッセージやセンサー情報など）を処理し、適応意思決定を導く構造的かつ目的志向的な応答を生成する。
• エージェント固有のルール、目標、行動的好みを保存・取得する知識コンponentを採用することで、時間経過に伴う持続的適応が可能になる。
• エージェント間の通信は自然言語メッセージを用いるため、ハードコードされたプロトコルが不要となり、高水準で表現力のある協調が可能になる。
• テストベッドとして、動的市場条件とLLM駆動の戦略に従って、エージェントが自主的に書籍を売買する市場シミュレーションを採用する。

実験結果

リサーチクエスチョン

• RQ1 進化的なアルゴリズムによる通信プロトコルの進化を経ずに、LLM駆動のエージェントがマルチエージェントシステムで自己適応を達成できるか。
• RQ2 LLMをMAPE-Kループに統合することで、動的環境におけるエージェント相互作用の表現力と協調性がどの程度向上するか。
• RQ3 明示的な協調メカニズムがなくても、LLMがMASでどのように自己組織的で協調的な行動を促進できるか。
• RQ4 複数のエージェントが同一のLLMインスタンスを共有するのと、個別のLLMアカウントを使用するのとで、パフォーマンスと行動的影響にどのような差が生じるか。
• RQ5 人間を含めた制御（human-in-the-loop）のインタラクションは、LLMベースの自己適応型マルチエージェントシステムの解釈可能性と制御性をどの程度向上できるか。

主な発見

• LLMをMAPE-Kループに統合することで、エージェントはシミュレーテッド書籍小売市場において、変化する市場状況に動的に適応し、リアルタイムの意思決定と協調行動を実現した。
• GPT-4を搭載したエージェントは、事前に定義された通信ルールがなくても、価格交渉や需要供給の調整といった自己組織的で協調的な行動を示した。
• 共有されたLLMアカウントはエージェント間の影響を引き起こす可能性を示し、エージェント行動の分離と正確なパフォーマンス評価を確保するには、非共有のLLMインスタンスが不可欠であることを示唆した。
• 進化的な通信開発の必要性が著しく低減され、エージェントが自然言語推論を用いて初期段階から複雑なタスクを実行できるようになった。
• 自然言語による説明を通じて、解釈可能な自己適応が実現され、エージェントの意思決定に対する透明性と人間の理解が向上した。
• 今後の研究では、会話インターフェースを介した人間を含めた制御（human-in-the-loop）が、システムの制御性、信頼性、エージェント行動のカスタマイズ性を向上させられると示唆された。