[논문 리뷰] Should I Have Expressed a Different Intent? Counterfactual Generation for LLM-Based Autonomous Control

Amirmohammad Farzaneh, Salvatore D'Oro외 1명|arXiv (Cornell University)|2026. 01. 27.

Explainable Artificial Intelligence (XAI)인용 수 0

한 줄 요약

본 논문은 conformal counterfactual generation(CCG)을 도입하여 LLM 기반 에이전트-환경 제어를 위한 신뢰 가능한 반사실 보고서를 생성하고, 순진한 재실행-baseline을 능가하며 신뢰성 보장을 제공한다.

ABSTRACT

Large language model (LLM)-powered agents can translate high-level user intents into plans and actions in an environment. Yet after observing an outcome, users may wonder: What if I had phrased my intent differently? We introduce a framework that enables such counterfactual reasoning in agentic LLM-driven control scenarios, while providing formal reliability guarantees. Our approach models the closed-loop interaction between a user, an LLM-based agent, and an environment as a structural causal model (SCM), and leverages test-time scaling to generate multiple candidate counterfactual outcomes via probabilistic abduction. Through an offline calibration phase, the proposed conformal counterfactual generation (CCG) yields sets of counterfactual outcomes that are guaranteed to contain the true counterfactual outcome with high probability. We showcase the performance of CCG on a wireless network control use case, demonstrating significant advantages compared to naive re-execution baselines.

연구 동기 및 목표

• LLM 기반 자율 제어 워크플로에서 대체 사용자 의도에 대한 반사실 추론을 가능하게 한다.
• 에이전트-환경 상호작용을 구조적 인과 모델(SCM)로 모델링하여 반사실 보고서를 생성한다.
• 반사실 결과 집합에 대해 컨포멀 보정을 통한 신뢰성 보장을 제공한다.
• 무선 네트워크(5G) 제어 시나리오에서 순진한 재실행 기준선에 비해 충실도와 신뢰성을 향상시켜 시연한다.

제안 방법

• X(프롬프트), A(행동), Z(환경 피드백), Y(보고서)를 포착하는 구조적 인과 모델(SCM)로 에이전트-환경 시스템을 모델링한다.
• 사실적 에피소드 T=(X,A,Z,Y)로부터 환경 노이즈 U_Z를 유도하는 귀납추론(abduction)을 사용한다.
• 동일한 외생 노이즈 U_A, U_Y를 사용해 LLM을 재실행하여 X′ 하에서 반사실 행동을 생성한다.
• 추정된 U_Z와 반사실 행동을 사용하여 Ẑ_{X′}(T)를 시뮬레이션한다.
• 보고서 생성 LLM에서 (X′,Â_{X′}(T),Ẑ_{X′}(T))를 조건으로 Ŷ_{X′}(T)를 생성한다.
• 고확률 피복성 보장을 갖는 신뢰 가능한 반사실 보고서 집합 C_λ(T,X′)를 만들기 위해 컨포멀 보정(CCG)을 적용한다.]
• research_questions:
• 연결된 연구 질문:

Figure 1 : (a) Example of the agentic framework studied in this work: A network operator provides an intent as a prompt to an LLM-based agent. The agent translates this prompt into an action, which is used to configure the network. The network executes the action, and returns environment feedback to

실험 결과

연구 질문

• RQ1 환경이 행동에 반응할 때 LLM 기반 자율 제어를 위한 반사실 보고서를 신뢰성 있게 생성하는 방법은 무엇인가?
• RQ2 폐쇄 루프의 에이전트-환경 시스템에서 반사실 보고서에 대해 통계적 신뢰성 보장을 제공할 수 있는가?
• RQ3 컨포멀 보정이 순진한 재실행에 비해 반사실 추론의 유용성과 신뢰성을 개선하는가?
• RQ4 시뮬레이터의 충실도가 반사실 정확도와 보정 효율성에 어떤 영향을 미치는가?

주요 결과

• CG(반사실 생성)가 IG, SIG에 비해 다수 지표에서 더 높은 충실도 반사실 KPI 시계열을 제시한다.
• 5G 네트워크 제어 사례에서 CG는 둘 다에 대해 true counterfactuals에 더 가까운 MAE 및 교차상관 값을 얻는다(Throughput 및 Delay).
• LLM 기반 평가자가 IG 및 SIG보다 CG 생성 반사실 보고서를 100건 중 92건에서 선호한다.
• CCG는 신뢰성 보장을 제공한다: 생성된 집합 C_λ(T,X′)가 확률적으로 1−ε 이상 좋은 반사실을 포함하며, 보정이 오회 coverage를 제어한다.
• CCG는 주어진 예산들에 대해 고정 예산 기준선보다 초과 샘플이 덜 발생하여 샘플링 효율을 높인다.

Figure 2 : An example of a factual episode with a true and a generated counterfactual report. Emphasis (bold fonts) added to highlight the main differences between factual and counterfactual intents.