[論文レビュー] Should I Have Expressed a Different Intent? Counterfactual Generation for LLM-Based Autonomous Control

Amirmohammad Farzaneh, Salvatore D'Oro+1 more|arXiv (Cornell University)|Jan 27, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

この論文は conformal counterfactual generation (CCG) を導入し、LLM駆動のエージェント–環境制御における信頼性の高い counterfactual レポートを生成し、単純再実行ベースラインを上回り、信頼性保証を提供します。

ABSTRACT

Large language model (LLM)-powered agents can translate high-level user intents into plans and actions in an environment. Yet after observing an outcome, users may wonder: What if I had phrased my intent differently? We introduce a framework that enables such counterfactual reasoning in agentic LLM-driven control scenarios, while providing formal reliability guarantees. Our approach models the closed-loop interaction between a user, an LLM-based agent, and an environment as a structural causal model (SCM), and leverages test-time scaling to generate multiple candidate counterfactual outcomes via probabilistic abduction. Through an offline calibration phase, the proposed conformal counterfactual generation (CCG) yields sets of counterfactual outcomes that are guaranteed to contain the true counterfactual outcome with high probability. We showcase the performance of CCG on a wireless network control use case, demonstrating significant advantages compared to naive re-execution baselines.

研究の動機と目的

• LLM ベースの自律制御ワークフローにおける代替ユーザ意図についての counterfactual 推論を可能にする。
• エージェント–環境の相互作用を構造的因果モデルとしてモデル化し、counterfactual レポートを生成する。
• counterfactual な結果集合に対して conformal calibration による信頼性保証を提供する。
• ワイヤレスネットワーク（5G）制御シナリオにおける単純再実行ベースラインよりも忠実度と信頼性を改善する。

提案手法

• エージェント–環境システムを X (prompt)，A (action)，Z (environment feedback)，Y (report) を捕捉する構造的因果モデル（SCM）としてモデル化する。
• 事実エピソード T=(X,A,Z,Y) から環境ノイズ U_Z を推定するためのアブダクションを用いる。
• 同一の外生的 A- および Y- ノイズ U_A, U_Y を再再生することで X′ 下の counterfactual actions を生成する。
• 推定された U_Z と counterfactual actions を用いて counterfactual environment feedback Ẑ_{X′}(T) をシミュレートする。
• (X′,Â_{X′}(T),Ẑ_{X′}(T)) を条件としてレポート生成 LL M から counterfactual レポート Ŷ_{X′}(T) を生成する。
• CCG を適用して信頼性の高いカバレッジ保証を持つ counterfactual レポート集合 C_λ(T,X′) を作成する。

Figure 1 : (a) Example of the agentic framework studied in this work: A network operator provides an intent as a prompt to an LLM-based agent. The agent translates this prompt into an action, which is used to configure the network. The network executes the action, and returns environment feedback to

実験結果

リサーチクエスチョン

• RQ1 環境が行動に反応する場合、LLM ベースの自律制御の counterfactual レポートをどのように信頼性高く生成するか？
• RQ2 閉ループのエージェント–環境システムにおいて counterfactual レポートに対する統計的信頼性保証を提供できるか？
• RQ3 conformal calibration は naive な再実行と比較して counterfactual 推論の有用性と信頼性を改善するか？
• RQ4 シミュレータの忠実度が counterfactual の精度と校正効率に与える影響は何か？

主な発見

Metric	CG MAE / IG MAE / SIG MAE	CG Cross-corr peak / IG Cross-corr peak / SIG Cross-corr peak	CG Crossing-level error / IG Crossing-level error / SIG Crossing-level error
Throughput	0.15 / 0.28 / 0.33	0.93 / 0.78 / 0.70	0.03 / 0.14 / 0.18
Delay	0.35 / 0.52 / 0.60	0.89 / 0.71 / 0.62	0.05 / 0.20 / 0.26

• CG（counterfactual generation）は複数の指標で IG や SIG より高い忠実度の counterfactual KPI 時系列をもたらす。
• 5G ネットワーク制御のケーススタディでは、CG は true counterfactuals に対して MAE および相互相関が IG および SIG よりも近く、スループットと遅延の両方で優れる。
• LLM ベースのジャッジは IG および SIG より CG 生成の counterfactual レポートを 100 ケース中 92 ケースで好む。
• CCG は信頼性保証を提供する。生成集合 C_λ(T,X′) は少なくとも確率 1−ε で良い counterfactual を含み、校正が過不足を制御する。
• CCG は tested budgets 全体で固定予算ベースラインより過剰サンプルを抑え、サンプリング効率を向上させる。

Figure 2 : An example of a factual episode with a true and a generated counterfactual report. Emphasis (bold fonts) added to highlight the main differences between factual and counterfactual intents.