[論文レビュー] ProMAS: Proactive Error Forecasting for Multi-Agent Systems Using Markov Transition Dynamics

Xinkui Zhao, Sai Liu+5 more|arXiv (Cornell University)|Mar 12, 2026

Software System Performance and Reliability被引用数 0

ひとこと要約

ProMASは、Vector Markov Spaceによる意味的遷移のモデリングとJump Detection機構を用いて、マルチエージェント推論の論理的侵害を予測・局在化し、リアルタイムのエラー介入を可能にする前向きフレームワークを提案する。

ABSTRACT

The integration of Large Language Models into Multi-Agent Systems (MAS) has enabled the so-lution of complex, long-horizon tasks through collaborative reasoning. However, this collec-tive intelligence is inherently fragile, as a single logical fallacy can rapidly propagate and lead to system-wide failure. Most current research re-lies on post-hoc failure analysis, thereby hinder-ing real-time intervention. To address this, we propose PROMAS, a proactive framework utiliz-ing Markov transitions for predictive error anal-ysis. PROMAS extracts Causal Delta Features to capture semantic displacement, mapping them to a quantized Vector Markov Space to model reasoning as probabilistic transitions. By inte-grating a Proactive Prediction Head with Jump Detection, the method localizes errors via risk acceleration rather than static thresholds. On the Who&When benchmark, PROMAS achieves 22.97% step-level accuracy while processing only 27% of reasoning logs. This performance rivals reactive monitors like MASC while reducing data overhead by 73%. Although this strategy entails an accuracy trade-off compared to post-hoc meth-ods, it significantly improves intervention latency, balancing diagnostic precision with the real-time demands of autonomous reasoning.

研究の動機と目的

• ポストホックなエラー分析から、MASにおけるリアルタイムの前向きなミス局在化へ移行する。
• 推論を潜在多様体上の因果的意味的変位として表現する。
• 意味的遷移を量子化し、それらをマルコフフレームワークでモデル化して故障リスクを評価する。
• データ要件を削減しつつタイムリーな介入を引き起こすダイナミックジャンプ検出機構を開発する。
• オフライン手法より大幅に文脈処理が少なくても、競争力のあるステップレベルの局在精度を実証する。

提案手法

• 連続推論ステップ間の意味的変位を表す因果デルタ特徴を抽出する。
• 凍結済みLLMバックボーンと学習済みアテンションプーリングを用いて高次元の対話履歴を潜在意味空間へ射影する。
• 因果空間をK個のアクションプロトタイプに量子化し、N_failとN_succの遷移カウントを分離してベイズ的平滑化リスクlambda_ijを導出する。
• 次のアクションクラスター分布を予測し、Top-Mクラスターに対する期待リスクR_tを計算する前向き予測ヘッドを導入する。
• リスク速度(nabla R_t)を用いてリスク変化が閾値を超えたときに局在化を引き起こすダイナミックジャンプ検出を用い、リアルタイム介入を可能にする。

Figure 1 : Overview of the ProMAS . The architecture is divided into two coupled components: (Left) Proactive Inference: The dialogue history $H_{t-1}$ is encoded into a latent state $s_{t-1}$ to predict the cluster distribution and transition risk $R_{t}$ of the next action. A Jump Detection mechan

実験結果

リサーチクエスチョン

• RQ1 ProMASはステップレベルの局在精度で既存の反応検知法を上回ることができるか。
• RQ2 前向きエラーフォーキャスティングにおける誤報を抑制する上でジャンプ検出はどれくらい効果的か。
• RQ3 意味的遷移を因果デルタ特徴でモデリングすることは、侵害局在化のための絶対状態表現よりも優れているか。
• RQ4 前向き検知の情報効率（必要な文脈）は、オフラインベースラインと比較してどうか。
• RQ5 Who&Whenにおけるバックボーンやデータ分割（Automated vs Handcraft）間でProMASはどれほど一般化するか。

主な発見

• ProMASはWho&Whenでステップレベル精度22.97%を達成し、対話文脈の約26.79%を平均で処理。
• ProMASはオンラインベースラインMASCをステップレベルの局在で上回り、オフラインベースラインより大幅に少ない文脈を処理。
• ProMASはバックボーンとデータ分割を跨いで総エージェントレベルの精度を約40.54%前後に維持し、ステップレベルの性能は一貫して≈22%–25%。
• アブレーションによりトリプレット損失と因果デルタ特徴が重要であることが示され、それらを除去すると性能が著しく低下。一方、ジャンプ検出は静的閾値よりも精度を改善。
• ProMASはリアルタイム制約のある競争力のある局在化を提供し、オフライン診断とオンライン介入のギャップを埋める。
• ProMASは類似の局在精度を達成する際、データオーバーヘッドを約73%削減できる。

Figure 2 : Ablation study of ProMAS on the Algorithm-Generated split of Who&When benchmark.