[论文解读] Managing Uncertainty in LLM-based Multi-Agent System Operation

Man Zhang, Tao Yue+1 more|arXiv (Cornell University)|Feb 26, 2026

Multi-Agent Systems and Negotiation被引用 0

一句话总结

本论文提出一种基于生命周期的不确定性管理框架，适用于基于大模型的多智能体系统，将认知论不确定性与本体论不确定性结合PSUM，以实现运行时治理和在安全关键领域（如寿命心脏超声）中的安全运行。

ABSTRACT

Applying LLM-based multi-agent software systems in safety-critical domains such as lifespan echocardiography introduces system-level risks that cannot be addressed by improving model accuracy alone. During system operation, beyond individual LLM behavior, uncertainty propagates through agent coordination, data pipelines, human-in-the-loop interaction, and runtime control logic. Yet existing work largely treats uncertainty at the model level rather than as a first-class software engineering concern. This paper approaches uncertainty from both system-level and runtime perspectives. We first differentiate epistemological and ontological uncertainties in the context of LLM-based multi-agent software system operation. Building on this foundation, we propose a lifecycle-based uncertainty management framework comprising four mechanisms: representation, identification, evolution, and adaptation. The uncertainty lifecycle governs how uncertainties emerge, transform, and are mitigated across architectural layers and execution phases, enabling structured runtime governance and controlled adaptation. We demonstrate the feasibility of the framework using a real-world LLM-based multi-agent echocardiographic software system developed in clinical collaboration, showing improved reliability and diagnosability in diagnostic reasoning. The proposed approach generalizes to other safety-critical LLM-based multi-agent software systems, supporting principled operational control and runtime assurance beyond model-centric methods.

研究动机与目标

• 区分在安全关键领域运行的基于LLM的多智能体系统中的认知论不确定性与本体论不确定性。
• 提出一种基于生命周期的不确定性管理框架，以治理架构层次与执行阶段中的不确定性。
• 利用PSUM以机器可解释的方式对不确定性进行建模、表征和推理。
• 在现实世界的心脏超声平台上演示该框架，并论证对其他安全关键系统的泛化性。

提出的方法

• 将不确定性分为认知论和本体论类别，并进一步将认知论不确定性细分为模型、数据、推理和解释类型。
• 提出一个四机构框架（表示、识别、演变、适应），通过基于角色的多智能体实现来治理不确定性生命周期。
• 采用PSUM标准将不确定性表示为随时间索引的对象，并链接证据、风险与BeliefStatement构造。
• 定义六状态不确定性生命周期（Detected、Characterized、Mitigated、Resolved、Escalated、Expired），并以随时间索引的证据和处理动作引导转换。
• 描述系统角色（Observer、Reasoner、Constructor、Evolver），在数据、推理和交互层面检测、表征、传播并对不确定性做出响应。

实验结果

研究问题

• RQ1 在安全关键领域运行的基于LLM的多智能体系统中会出现哪些不同形式的不确定性？
• RQ2 结构化生命周期和基于PSUM的表示如何在运行过程中持续检测、表征、缓解和治理不确定性？
• RQ3 一个多智能体、具备不确定性感知的框架是否能提高临床心脏超声推理的可靠性和可诊断性？
• RQ4 拟议框架在多大程度上可以推广到其他安全关键的LLM基础多智能体应用？

主要发现

• 对认知论与本体论不确定性的全面分类，包括模型、数据、推理、解释、随机性、架构形变以及交互不确定性。
• 一个以六个状态构成的务实不确定性生命周期，由四个核心机制驱动、并由随时间索引的证据与处理动作推动。
• PSUM提供机器可解释、以信念为中心的不确定性表示，能够在智能体与工件之间显式传播与审计。
• 一个现实世界的心脏超声平台展示了应用性，并通过结构化的不确定性管理讨论了对可靠性与可诊断性的改进。