[논문 리뷰] Recoverability Has a Law: The ERR Measure for Tool-Augmented Agents

Sri Vatsa Vuddanti, Satwik Kumar Chittiprolu|arXiv (Cornell University)|2026. 01. 29.

Artificial Intelligence in Healthcare and Education인용 수 0

한 줄 요약

본 논문은 도구-강화 에이전트에서의 회복 가능성을 Expected Recovery Regret(ERR)로 형식화하고, ERR과 관찰 가능한 Efficiency Score(ES)를 연결하는 일차 법칙을 도출하며, 이를 여러 벤치마크와 모델 규모에 걸쳐 검증한다.

ABSTRACT

Language model agents often appear capable of self-recovery after failing tool call executions, yet this behavior lacks a formal explanation. We present a predictive theory that resolves this gap by showing that recoverability follows a measurable law. To elaborate, we formalize recoverability through Expected Recovery Regret (ERR), which quantifies the deviation of a recovery policy from the optimal one under stochastic execution noise, and derive a first-order relationship between ERR and an empirical observable quantity, the Efficiency Score (ES). This yields a falsifiable first-order quantitative law of recovery dynamics in tool-using agents. We empirically validate the law across five tool-use benchmarks spanning controlled perturbations, diagnostic reasoning, and real-world APIs. Across model scales, perturbation regimes, and recovery horizons, predicted regret under the ERR-ES law closely matched observed post-failure regret measured from Monte Carlo rollouts, within delta less than or equal to 0.05. Our results reveal that recoverability is not an artifact of model scale or architecture, but a governed property of interaction dynamics, providing a theoretical foundation for execution-level robustness in language agents.

연구 동기 및 목표

• 도구-대상 언어 모델의 정적 입력 견고성 너머 실행 레벨의 견고성 필요성을 촉진한다.
• stochastic 실행 잡음을 고려한 회복 성능의 형식적 측정 지표로서 ERR를 도입한다.
• ERR–ES 일차 법칙을 도출하여 ERR을 관찰 가능한 ES와 연결한다.
• 다양한 벤치마크, 섭동, 모델 규모에 걸쳐 법칙을 경험적으로 검증하여 회복 가능성을 상호작용 동역학의 지배 속성으로 확립한다.

제안 방법

• 실행 레벨 설정에서 확률적 섭동과 한정된 per-step 비용을 정의한다.
• ERR를 주어진 회복 정책과 섭동 프로세스 하의 최적 정책 간의 기대 손실 차로 형식화한다.
• ES를 ES = RR / (1 + λC/Cmax)로 정의하고 ERR ≤ (1/(1−γ))(1−ES) + O(λcmax)의 상한을 도출한다.
• 1차 선형화 및 비용 한정 가정하에 ES 대리변수의 유일성을 증명한다.
• 벤치마크와 모델 규모 전반에서 ERR–ES 결합을 테스트하기 위해 제어된 회복 정책과 경험적 프레임워크(FORTIFY)를 활용한다.
• 몬테카를로 롤아웃을 사용해 RR과 ES를 계산하고 관찰된 ERR를 1차 예측과 비교한다.

실험 결과

연구 질문

• RQ1 ERR의 경험적 회복 후퇴가 ES의 예측 함수인 (1−ES)/(1−γ)와 함께 스케일링되는가?
• RQ2 ERR–ES 결합은 모델 규모, 섭동 영역 및 서로 다른 회복 전략에 대해 견고한가?
• RQ3 효율성–후퇴 모양이 설정 간에 계 모드 불변성, 메커니즘 불변성, 규모 불변성 기하를 보이는가?
• RQ4 ERR–ES 법칙이 실패하거나 경계 조건은 무엇이며 어떤 경우에 파손될 수 있는가?

주요 결과

모델	RR(%)↑	CSR(% 정규화)↑	ES↑	관측된 ERR↓
Vanilla (14B)	38.2±1.6	35.4±1.4	0.312±0.010	7.02±0.10
ToolBench	61.5±1.1	56.6±1.3	0.504±0.009	4.98±0.09
ToolReflect	69.9±1.0	62.2±1.1	0.577±0.009	4.25±0.09
CRITIC	78.7±0.9	67.9±1.0	0.661±0.008	3.41±0.08
FORTIFY	94.7±0.8	85.1±1.0	0.814±0.007	1.78±0.07

• 효율성 점수(Efficiency Score)가 증가할수록 모든 벤치마크 및 모델에서 회복 후퇴가 감소한다.
• 회복 메커니즘(예: 검색 및 회복 가중치 부여)은 시스템을 공유된 효율성–후퇴 프런티어를 따라 이동시키고 새로운 영역으로 옮기지 않는다.
• 더 큰 모델로 스케일링해도 궤적 분산이 감소하고 ERR–ES 법칙의 준수가 강화되며, 모튤린 구조는 유지된다.
• 초기 단계의 효율성이 장기적 성능을 지배하며 초기 개선이 이후의 후퇴를 억제한다.
• ES로부터 예측된 ERR이 모델과 환경 전반에서 관찰된 ERR과 밀접하게 일치하며, 사전에 정의된 노름 경계 내에서 작은 편차를 보인다.
• 다섯 벤치마크와 여러 환경에서 ES가 ERR을 안정적으로 예측하며 Δ_norm 값이 작아 모델 간 및 환경 간의 타당성을 시사한다.