[논문 리뷰] TriCEGAR: A Trace-Driven Abstraction Mechanism for Agentic AI

Roham Koohestani, Ateş Görpelioğlu외 3명|arXiv (Cornell University)|2026. 01. 30.

Multi-Agent Systems and Negotiation인용 수 0

한 줄 요약

TriCEGAR는 실행 트레이스로부터 predicate-tree 추상화를 학습하고, AMDP를 구축하며, 이상 탐지와 함께 런타임 검증을 위한 에이전트적 AI의 상태 추상을 자동화한다.

ABSTRACT

Agentic AI systems act through tools and evolve their behavior over long, stochastic interaction traces. This setting complicates assurance, because behavior depends on nondeterministic environments and probabilistic model outputs. Prior work introduced runtime verification for agentic AI via Dynamic Probabilistic Assurance (DPA), learning an MDP online and model checking quantitative properties. A key limitation is that developers must manually define the state abstraction, which couples verification to application-specific heuristics and increases adoption friction. This paper proposes TriCEGAR, a trace-driven abstraction mechanism that automates state construction from execution logs and supports online construction of an agent behavioral MDP. TriCEGAR represents abstractions as predicate trees learned from traces and refined using counterexamples. We describe a framework-native implementation that (i) captures typed agent lifecycle events, (ii) builds abstractions from traces, (iii) constructs an MDP, and (iv) performs probabilistic model checking to compute bounds such as Pmax(success) and Pmin(failure). We also show how run likelihoods enable anomaly detection as a guardrailing signal.

연구 동기 및 목표

• 확률적 환경에서 에이전트적 AI에 대한 자동화되고 견고한 보증의 필요성을 제시한다.
• 실행 트레이스로부터 런타임 검증을 위한 상태 추상을 자동화하기 위해 TriCEGAR을 도입한다.
• 정량적 보장을 위한 온라인으로 AMDP를 구성하고 확률적 모델 검증을 가능하게 한다.
• 트레이스 캡처, 추상화 학습, MDP 유도, 이상 탐지를 통합하는 프레임워크 원천 구현을 제공한다.

제안 방법

• 에이전트 수명주기 이벤트를 캡처하여 타입이 정해진 실행 트레이스를 생성한다.
• 트레이스에서 predicate 트리를 학습하여 구체 상태를 추상 상태로 매핑하는 추상화 매핑을 형성한다.
• 추상 상태들 위에 MDP를 구성하고 전이 확률은 트레이스 빈도에서 추정한다.
• 확률적 모델 검사(PCTL)를 적용하여 Pmax(Diamond success) 및 Pmin(Diamond failure)와 같은 경계를 계산한다.
• 관찰된 트레이스로부터 도출된 반례(counterexamples)를 사용해 추상화를 개선하여 허위 동작을 줄인다.
• 유도된 확률 모델을 사용하여 실행 가능도(run-likelihood) 기반의 이상 탐지를 수행한다.

실험 결과

연구 질문

• RQ1 실행 트레이스로부터 상태 추상을 직접 학습하여 에이전트적 AI에 대한 런타임 검증을 자동화할 수 있는가?
• RQ2 온라인, 트레이스 기반의 AMDP를 학습하고 확률적 모델 검증과 함께 사용하여 에이전트적 행동의 경계를 설정할 수 있는가?
• RQ3 반례가 predicate의 정제를 안내하여 허위 검증 결과를 줄일 수 있는가?
• RQ4 학습된 모델하에서 실행 중 런 가능도가 이상 신호로 효과적으로 작동할 수 있는가?

주요 결과

• TriCEGAR는 수동 상태 매핑을 트레이스로부터 도출된 학습된 predicate 트리로 대체한다.
• AMDP가 구성되며 상태는 predicate 트리의 리프이고 전이는 트레이스의 확률에서 반영된 도구 유형의 행동을 반영한다.
• 확률적 모델 검증은 에이전트적 워크플로우에 대한 Pmax(Diamond success) 및 Pmin(Diamond failure)와 같은 정량적 경계를 산출한다.
• 프레임워크는 온라인 업데이트를 지원한다: 트레이스가 점진적으로 도착하고, 추상화와 AMDP가 단계 간에 개선되며, 확률 경계가 업데이트된다.
• 유도된 모델하에서의 실행 가능도가 실행 중 이상 탐지 신호를 제공한다.
• 초기 프로토타입은 트레이스 캡처에서 AMDP 유도 및 PCTL 질의에 이르는 엔드투엔드 워크플로우를 시연한다.