[論文レビュー] Managing Uncertainty in LLM-based Multi-Agent System Operation

Man Zhang, Tao Yue+1 more|arXiv (Cornell University)|Feb 26, 2026

Multi-Agent Systems and Negotiation被引用数 0

ひとこと要約

lifecycleベースの不確実性管理フレームワークをLLMベースのマルチエージェントシステムに適用し、PSUMと組み合わせて寿命エコー心エコーのような安全 critical領域での実行時ガバナンスと安全運用を可能にする。

ABSTRACT

Applying LLM-based multi-agent software systems in safety-critical domains such as lifespan echocardiography introduces system-level risks that cannot be addressed by improving model accuracy alone. During system operation, beyond individual LLM behavior, uncertainty propagates through agent coordination, data pipelines, human-in-the-loop interaction, and runtime control logic. Yet existing work largely treats uncertainty at the model level rather than as a first-class software engineering concern. This paper approaches uncertainty from both system-level and runtime perspectives. We first differentiate epistemological and ontological uncertainties in the context of LLM-based multi-agent software system operation. Building on this foundation, we propose a lifecycle-based uncertainty management framework comprising four mechanisms: representation, identification, evolution, and adaptation. The uncertainty lifecycle governs how uncertainties emerge, transform, and are mitigated across architectural layers and execution phases, enabling structured runtime governance and controlled adaptation. We demonstrate the feasibility of the framework using a real-world LLM-based multi-agent echocardiographic software system developed in clinical collaboration, showing improved reliability and diagnosability in diagnostic reasoning. The proposed approach generalizes to other safety-critical LLM-based multi-agent software systems, supporting principled operational control and runtime assurance beyond model-centric methods.

研究の動機と目的

• LLMベースのマルチエージェントシステムが安全 critical領域で動作する際に、認識論的不確実性と存在論的不確実性を区別する。
• アーキテクチャ層と実行フェーズ全体で不確実性を統治するライフサイクルベースの不確実性管理フレームワークを提案する。
• PSUMを活用して不確実性を機械解釈可能な方法でモデル化・表現・推論する。
• 実世界の心エコー診断プラットフォームでフレームワークをデモンストレーションし、他の安全criticalシステムへの一般化を主張する。

提案手法

• 不確実性を認識論的と存在論的カテゴリーに分類し、さらに認識論的不確実性をモデル・データ・推論・解釈のタイプに細分化する。
• 役割ベースのマルチエージェントを介して不確実性ライフサイクルを統治する四つの機構（表現・同定・進化・適応）を提案する。
• PSUM標準を採用して、不確実性を証拠・リスク・BeliefStatement構造に結びつく時系列オブジェクトとして表現する。
• 6状態の不確実性ライフサイクル（Detected, Characterized, Mitigated, Resolved, Escalated, Expired）を、時系列証拠と処理アクションの指向で定義し、遷移を導く。
• データ・推論・相互作用レベル全体で不確実性を検知・特徴づけ・伝播・対応するシステム役割（Observer, Reasoner, Constructor, Evolver）を記述する。

実験結果

リサーチクエスチョン

• RQ1 安全 critical領域で動作するLLMベースのマルチエージェントシステムにおいて、どのような異なる形の不確実性が生じるか？
• RQ2 運用中の継続的な検知・特徴づけ・緩和・統治を支える、構造化されたライフサイクルとPSUMベースの表現はどう機能するか？
• RQ3 不確実性を意識したマルチエージェントフレームワークは、臨床的心エコー推論の信頼性と診断可能性を向上させ得るか？
• RQ4 提案されたフレームワークは、他の安全criticalなLLMベースのマルチエージェント応用にどの程度一般化できるか？

主な発見

• 認識論的および存在論的不確実性の完全な分類法には、モデル・データ・推論・解釈・運動的不確実性、構造的モーフィング、相互作用不確実性が含まれる。
• 4つの機構に支えられ、時系列の証拠と処理アクションにより推進される6状態の実用的な不確実性ライフサイクル。
• PSUMは不確実性の機械解釈可能で信念中心の表現を提供し、エージェント間およびアーティファクト間での明示的な伝播と監査を可能にする。
• 実世界の心エコー診断プラットフォームは適用性を示し、構造化された不確実性管理を通じた信頼性と診断可能性の改善を議論する。