[논문 리뷰] AI agents can coordinate beyond human scale

Giordano De Marzo, Claudio Castellano외 1명|arXiv (Cornell University)|2024. 09. 04.

Translation Studies and PracticesArts and Humanities인용 수 3

한 줄 요약

이 논문은 외부 지침 없이 대규모 언어 모델(Large Language Model, LLM) 사회가 임의의 규범에 대해 합의에 도달할 수 있는지 조사한다. 통계역학과 행동과학을 영감으로 삼은 프레임워크를 사용하여, 언어 이해 능력에 비례하는 '다数력'에 의해 합의가 발생하며, 이는 인간의 한계를 훨씬 초월하는 규모—일반적으로 인간 집단보다 수 개의 지수만큼 큰 규모—에서 합의를 이끌어내는 데 성공한다. 특히 언어 이해 능력이 충분히 높을 경우에 해당한다.

ABSTRACT

Large language models (LLMs) are increasingly deployed in collaborative tasks involving multiple agents, forming an "AI agent society: where agents interact and influence one another. Whether such groups can spontaneously coordinate on arbitrary decisions without external influence - a hallmark of self-organized regulation in human societies - remains an open question. Here we investigate the stability of groups formed by AI agents by applying methods from complexity science and principles from behavioral sciences. We find that LLMs can spontaneously form cohesive groups, and that their opinion dynamics is governed by a majority force coefficient, which determines whether coordination is achievable. This majority force diminishes as group size increases, leading to a critical group size beyond which coordination becomes practically unattainable and stability is lost. Notably, this critical group size grows exponentially with the language capabilities of the models, and for the most advanced LLMs, it exceeds the typical size of informal human groups. Our findings highlight intrinsic limitations in the self-organization of AI agent societies and have implications for the design of collaborative AI systems where coordination is desired or could represent a treat.

연구 동기 및 목표

• 외부 지침이나 특정 선택지를 선호하는 정보 없이 LLM이 임의의 규범에 대해 합의에 도달할 수 있는지 조사하기.
• 인간 집단의 인지적 한계에 유사한 LLM 사회의 집단 조율 한계를 이해하기.
• LLM의 언어 이해 능력이 대규모 집단에서 합의에 도달하는 데 미치는 영향을 정량화하기.
• 통계역학과 행동과학 원리를 활용해 LLM 앙상블의 의견 동역학을 모델링하기.
• LLM의 언어 이해 능력에 기반해 특정 LLM이 합의에 도달할 수 있는 최대 집단 규모를 결정하기.

제안 방법

• 각 에이전트가 다른 이들의 집단적 의견에 기반해 의견을 선택하는 이진 의견 업데이트 프로토콜을 사용해 LLM 에이전트 집단의 의견 동역학을 시뮬레이션한다.
• 프롬프트 기반 상호작용 프레임워크를 적용하여, 에이전트들이 동료들과 그들의 의견 목록을 보여주고, 'k'와 'z'와 같은 두 개의 임의의 의견 레이블 중 하나를 선택하도록 유도함으로써 내재된 편향을 방지한다.
• 각 시간 단계에서 의견 레이블을 무작위로 재배열하여 한 레이블에 대한 체계적 선호도를 제거하고 평가의 공정성을 확보한다.
• 집단적 의견을 자화도 'm'으로 매핑하고 주요 매개변수로 다수력 'β'를 사용하는 커리-웨이스(Curie-Weiss, CW) 평균장 스핀 모델을 사용해 시스템을 모델링한다.
• 실증적 의견 전이 확률을 함수 P(m) = 0.5[tanh(β·m) + 1]에 맞추어 피팅하여, 다양한 모델 간에 공통된 행동 양상이 있음을 확인한다.
• 자기 일致 방정정식 m = tanh(β·m)를 유도하여 임계점 β = 1을 도출함으로써 합의 형성의 시작을 나타낸다.

실험 결과

연구 질문

• RQ1 외부 정보나 특정 선택지에 대한 선호 없이 LLM은 임의의 규범에 대해 합의에 도달할 수 있는가?
• RQ2 특정 LLM의 언어 이해 능력에 기반해 합의가 가능한 최대 집단 규모는 얼마인가?
• RQ3 언어 이해에 의해 유도되는 '다수력' β가 LLM 집단에서 합의가 어떻게 발생하는지에 영향을 주는가?
• RQ4 특정 LLM에 대해 합의가 통계적으로 도달 불가능해지는 임계 집단 규모가 존재하는가?
• RQ5 LLM의 의견 동역학은 모델 아키텍처나 정체성과 무관한 보편적인 기능 형태를 따르는가?

주요 결과

• 합의 형성에 영향을 주는 다수력 β는 LLM의 언어 이해 능력이 높아질수록 증가하며, 이는 더 큰 규모의 조율을 가능하게 한다.
• β(N_c) = 1이 되는 임계 집단 규모 N_c를 초월하면 합의가 불가능해지며, 이는 커리-웨이스 모델과 유사한 두 번째 계급의 상전이를 나타낸다.
• 가장 고도화된 LLM의 경우, 임계 집단 규모 N_c는 언어 이해 능력에 따라 지수적으로 증가하며, 일반적으로 인간 집단의 크기(예: 약 250명)보다 수 개의 지수만큼 큰 규모에 이를 수 있다.
• 다양한 LLM(GPT, Claude, Llama 등)의 실증적 의견 동역학이 모두 보편 함수 P(m) = 0.5[tanh(β·m) + 1]에 수렴함을 확인하여 공통된 동적 메커니즘이 있음을 입증한다.
• β = 1에서 시스템은 상전이를 보이며, β가 이 임계값을 초월해 증가함에 따라 합의가 점진적으로 형성된다.
• 통계적 변동성은 β > 1일 때조차도 완전한 합의를 방지하므로, β(N_c) = 1은 실현 가능한 합의 집단 규모의 엄격한 상한선이 된다.