[論文レビュー] TriCEGAR: A Trace-Driven Abstraction Mechanism for Agentic AI
TriCEGARは、実行 traces から述語木の抽象化を学習することにより、ランタイム検証のためのエージェント的AIの状態抽象化を自動化し、AMDPを構築し、確率的モデル検査と異常検知をオンラインで実行します。
Agentic AI systems act through tools and evolve their behavior over long, stochastic interaction traces. This setting complicates assurance, because behavior depends on nondeterministic environments and probabilistic model outputs. Prior work introduced runtime verification for agentic AI via Dynamic Probabilistic Assurance (DPA), learning an MDP online and model checking quantitative properties. A key limitation is that developers must manually define the state abstraction, which couples verification to application-specific heuristics and increases adoption friction. This paper proposes TriCEGAR, a trace-driven abstraction mechanism that automates state construction from execution logs and supports online construction of an agent behavioral MDP. TriCEGAR represents abstractions as predicate trees learned from traces and refined using counterexamples. We describe a framework-native implementation that (i) captures typed agent lifecycle events, (ii) builds abstractions from traces, (iii) constructs an MDP, and (iv) performs probabilistic model checking to compute bounds such as Pmax(success) and Pmin(failure). We also show how run likelihoods enable anomaly detection as a guardrailing signal.
研究の動機と目的
- stochastic 環境下でのエージェント的AIの自動化された堅牢な保証の必要性を動機づける。
- 実行 traces から状態抽象化を自動化する TriCEGAR を導入する。
- オンラインでの Agentic MDP (AMDP) の構築と定量的保証のための確率的モデル検査を可能にする。
- トレース取得・抽象学習・MDP誘導・異常検知を統合するフレームワーク-native 実装を提供する。
提案手法
- エージェントのライフサイクルイベントを取得して型付き実行 traces を生成する。
- traces から述語木を学習して、具体的状態を抽象状態へ写像する抽象化写像を形成する。
- 抽象状態上のMDPを構築し、遷移を traces の頻度から推定する。
- 確率的モデル検査(PCTL)を適用して、Pmax(Diamond 成功) や Pmin(Diamond 失敗) のような界を計算する。
- 観測された traces から得られる反例を用いて抽象化を精錬し、偽陽性を削減する。
- 導かれたモデルのラン実行尤度を用いて異常検知を行う。
実験結果
リサーチクエスチョン
- RQ1 traces から直接学習した状態抽象化によって、エージェント的AIのランタイム検証を自動化するにはどうすればよいか。
- RQ2 オンラインでトレース駆動のAMDPを学習し、確率的モデル検査と組み合わせてエージェント行動を上限下限で束縛できるか。
- RQ3 偽陽性を減らすために反例が述語の精錬を導く方法は。
- RQ4 学習されたモデル下での実行時のラン尤度が異常信号として有効に機能するか。
主な発見
- TriCEGARは、 traces から導かれた学習済み述語木を用いて手動の状態写像を置換する。
- 抽象状態は述語木の葉で構成され、遷移は traces から得られる確率を考慮したツール型のアクションを反映する AMDP が構築される。
- 確率的モデル検査は、エージェント的ワークフローに対する Pmax(Diamond 成功) および Pmin(Diamond 失敗) のような定量的界を提供する。
- フレームワークはオンライン更新をサポートする。 traces は増分で到着し、抽象化と AMDP は各ステップ間で改良され、確率界も更新される。
- 導出モデル下のラン確率は実行時の異常検知信号を提供する。
- 初期プロトタイプは、トレース取得からMDP誘導およびPCTL問合せまでのエンドツーエンドのワークフローを示す。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。