[論文レビュー] AI agents can coordinate beyond human scale

Giordano De Marzo, Claudio Castellano+1 more|arXiv (Cornell University)|Sep 4, 2024

Translation Studies and PracticesArts and Humanities被引用数 3

ひとこと要約

この論文は、外部の指導なしに大規模言語モデル（LLM）の社会が任意の規範について合意に至できるかを、統計物理学と行動科学にインspiredしたフレームワークを用いて調査している。その結果、言語理解能力に比例する「過半数の力」によって合意が生じ、言語能力が十分に高い場合には、人間の限界をはるかに超える規模（通常の人間のグループと比べて1桁以上大きな規模）で合意に至できることを明らかにした。

ABSTRACT

Large language models (LLMs) are increasingly deployed in collaborative tasks involving multiple agents, forming an "AI agent society: where agents interact and influence one another. Whether such groups can spontaneously coordinate on arbitrary decisions without external influence - a hallmark of self-organized regulation in human societies - remains an open question. Here we investigate the stability of groups formed by AI agents by applying methods from complexity science and principles from behavioral sciences. We find that LLMs can spontaneously form cohesive groups, and that their opinion dynamics is governed by a majority force coefficient, which determines whether coordination is achievable. This majority force diminishes as group size increases, leading to a critical group size beyond which coordination becomes practically unattainable and stability is lost. Notably, this critical group size grows exponentially with the language capabilities of the models, and for the most advanced LLMs, it exceeds the typical size of informal human groups. Our findings highlight intrinsic limitations in the self-organization of AI agent societies and have implications for the design of collaborative AI systems where coordination is desired or could represent a treat.

研究の動機と目的

• 外部からの指導や特定の選択肢に有利な情報がない状況で、LLMが任意の規範について合意に至できるかを調査すること。
• 人間のグループにおける認知的限界に類似した、LLM社会における集団的協調の限界を理解すること。
• LLMの言語理解能力が、大規模なグループでの合意形成能力にどのように影響するかを定量化すること。
• 統計物理学と行動科学の原則を用いて、LLMアンサンブルの意見動態をモデル化すること。
• 特定のLLMの言語理解能力に基づいて、合意形成がもはや達成不可能になる臨界のグループサイズを特定すること。

提案手法

• 各エージェントが他の者の集団的意見に基づいて意見を選択する二値の意見更新プロトコルを用いて、LLMエージェントのグループにおける意見動態をシミュレートする。
• プロンプトベースの相互作用フレームワークを採用し、エージェントは仲間のリストとその意見を提示され、二つの任意の意見ラベル（例：'k' と 'z'）のうち片方を選択する。これにより、内因的なバイアスを回避する。
• 各タイムステップで意見ラベルをランダムにシャッフルすることで、一方のラベルに対する系統的偏りを排除し、評価の公平性を確保する。
• 集団的意見を磁化'm'にマッピングし、過半数の力'β'を主要パラメータとするCurie-Weiss（CW）平均場スピンモデルを用いてシステムをモデル化する。
• 実験的意見遷移確率を関数 P(m) = 0.5[tanh(β·m) + 1] にフィットさせ、モデル間で普遍的な挙動が確認された。
• 自己一貫性方程式 m = tanh(β·m) を導出し、合意形成の開始を示す臨界点 β = 1 を特定する。

実験結果

リサーチクエスチョン

• RQ1 外部情報や特定の選択肢への偏りがない状況で、LLMは任意の規範について合意に至れるか？
• RQ2 特定のLLMの言語理解能力を前提とした場合、合意が達成可能な最大グループサイズは何か？
• RQ3 言語理解に起因する「過半数の力」βが、LLMグループにおける合意形成の出現にどのように影響するか？
• RQ4 あるLLMに対して、合意形成が統計的に達成不可能になる臨界のグループサイズは存在するか？
• RQ5 LLMの意見動態は、モデルアーキテクチャーや識別子に依存しない普遍的な関数形に従うか？

主な発見

• 合意形成を支配する過半数の力βは、LLMの言語理解能力に比例して増加し、より大規模な協調を可能にする。
• β(N_c) = 1 となる臨界グループサイズN_cを超えると、合意が達成できなくなる。これは、Curie-Weissモデルに類似した2次相転移に相当する。
• 最も先進的なLLMでは、臨界グループサイズN_cが言語理解能力に従って指数関数的に増加し、通常の人間のグループサイズ（例：約250人）をはるかに超えるオーダーに達する。
• GPT、Claude、Llamaなど多様なLLM間で、実験的意見動態が普遍関数 P(m) = 0.5[tanh(β·m) + 1] に収束し、共通の動的メカニズムを確認した。
• β = 1 で系は相転移を示し、βがこの閾値を超えて増加するにつれて、合意が徐々に形成される。
• 統計的フラクチュエーションのため、β > 1 であっても完全な合意は達成できない。したがって、β(N_c) = 1 は、実現可能な合意グループサイズの厳密な上限である。