[论文解读] LLM-Augmented Agent-Based Modelling for Social Simulations: Challenges and Opportunities

Önder Gürcan|arXiv (Cornell University)|May 8, 2024

Multi-Agent Systems and Negotiation被引用 4

一句话总结

本文提出了一种将大型语言模型（LLMs）系统性地整合到基于代理的建模（ABM）中的方法，用于社会模拟，从而实现对复杂社会系统更真实、可解释且互动性更强的模拟。通过利用LLMs进行代理推理、对话生成和模拟流程支持——同时应对幻觉和可解释性等挑战——该研究表明，LLM增强的ABM能够提升模型的真实性、可访问性以及跨学科协作能力。

ABSTRACT

As large language models (LLMs) continue to make significant strides, their better integration into agent-based simulations offers a transformational potential for understanding complex social systems. However, such integration is not trivial and poses numerous challenges. Based on this observation, in this paper, we explore architectures and methods to systematically develop LLM-augmented social simulations and discuss potential research directions in this field. We conclude that integrating LLMs with agent-based simulations offers a powerful toolset for researchers and scientists, allowing for more nuanced, realistic, and comprehensive models of complex systems and human behaviours.

研究动机与目标

• 解决在社会系统基于代理的模拟中系统性整合LLMs的缺乏概念基线的问题。
• 识别并构建LLM增强ABM的关键研究方向，以支持方法论严谨性和可扩展性。
• 通过利用LLMs实现代理行为、决策制定和自然语言解释，提升社会模拟的真实性和可解释性。
• 探索LLMs在简化模拟工作流程中的作用，包括文献综述、数据准备、校准和结果解释。
• 批判性评估依赖LLMs作为模拟研究中科学合作者时可能产生的认识论风险，如‘理解错觉’。

提出的方法

• 提出一个概念框架，将LLMs整合到ABM全流程中，涵盖从代理设计到结果解释的各个环节。
• 利用LLMs作为非确定性模拟器，通过微调使其能够以信念、意图和文化背景影响的行为方式来扮演社会代理。
• 采用提示工程和条件控制技术，使LLM输出与特定社会角色、规范和决策模式保持一致。
• 将LLM API集成到ABM平台中，实现实时、交互式的用户与模拟代理之间的对话。
• 应用LLMs对代理行为和模拟动态进行自然语言解释，提升透明度和可访问性。
• 强调需要基于组织与社会系统设计原则，实施伦理数据处理和工具平台建设。

实验结果

研究问题

• RQ1 如何系统性地将LLMs整合到基于代理的建模中，以增强社会模拟的真实性和复杂性？
• RQ2 在社会系统中使用LLMs进行代理推理、行为生成和模拟工作流支持时，面临哪些关键方法论挑战？
• RQ3 LLM增强的代理在哪些方面能够提升ABM对非计算背景跨学科研究人员的可解释性和可访问性？
• RQ4 当LLMs被用作模拟研究中的合作者时，认识论风险（如‘理解错觉’）如何影响科学有效性？
• RQ5 为确保LLM增强的社会模拟具备可靠性、可重现性和伦理合规性，需要哪些概念和技术架构？

主要发现

• LLM增强的ABM能够模拟具有社会细微差别的代理，使其能够推理、行动并使用自然语言解释自身行为，从而提升模型真实性。
• LLMs可自动化文献综述、数据解读、参数校准和敏感性分析，从而简化模拟工作流程。
• LLM的整合使得能够生成反映多样化人类视角和文化背景的合成社会代理群体。
• LLMs可提供代理决策的自然语言解释，提升对跨学科用户的透明度和可解释性。
• 尽管具有优势，LLM增强的ABM仍存在认识论风险，包括‘理解错觉’，即研究人员可能高估LLM生成见解的准确性或深度。
• 建立结构化、以组织为导向的概念基线，对于开发稳健、可扩展且符合伦理的LLM增强ABM平台至关重要。