[論文レビュー] Certifying Hamilton-Jacobi Reachability Learned via Reinforcement Learning

Prashant Solanki, Isabelle El-Hajj+3 more|arXiv (Cornell University)|Feb 18, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

この論文は、uniform value-function errors を constant HJB offsets に結びつけることで reinforcement learning によって学習された Hamilton-Jacobi reachability を認証し、バックワード到達チューブの SMT ベースの包絡を可能にします。

ABSTRACT

We present a framework to \emph{certify} Hamilton--Jacobi (HJ) reachability learned by reinforcement learning (RL). Building on a discounted initial time \emph{travel-cost} formulation that makes small-step RL value iteration provably equivalent to a forward Hamilton--Jacobi (HJ) equation with damping, we convert certified learning errors into calibrated inner/outer enclosures of strict backward reachable tube. The core device is an additive-offset identity: if $W_λ$ solves the discounted travel-cost Hamilton--Jacobi--Bellman (HJB) equation, then $W_\varepsilon:=W_λ+ \varepsilon$ solves the same PDE with a constant offset $λ\varepsilon$. This means that a uniform value error is \emph{exactly} equal to a constant HJB offset. We establish this uniform value error via two routes: (A) a Bellman operator-residual bound, and (B) a HJB PDE-slack bound. Our framework preserves HJ-level safety semantics and is compatible with deep RL. We demonstrate the approach on a double-integrator system by formally certifying, via satisfiability modulo theories (SMT), a value function learned through reinforcement learning to induce provably correct inner and outer backward-reachable set enclosures over a compact region of interest.

研究の動機と目的

• Hamilton-Jacobi (HJ) reachability を通じた自動運転システムの安全性検証の動機付けと、グリッドベースのソルバーのスケーラビリティ制限の克服。
• 割引旅行コストの定式化を用いて安全性意味論を保持しつつ、RL と HJ reachability を橋渡しする。
• 加法オフセットベースの理論を提供して RL 学習済み HJ 値関数を認証し、内・外の到達包絡を導出する。

提案手法

• 割引旅行時間値関数とその前方 HJB を時系列反転形式で定式化する。
• 一様値誤差が HJB 方程式の定数オフセットに対応する加法オフセット恒等式を証明する。
• Bellman 残差界と PDE スラック界を導出して値関数誤差を認証する。
• 残差界を移動した前方 HJB の包絡に変換し、到達包絡を認証する。
• SMT ベースの認証パイプラインを実装して、関心領域のコンパクトな領域上で ε 値の境界を認証する。
• SMT を用いて二重積分系で成り立つことを示し、厳密に正しい内側/外側のバックワード到達チューブを得る。

実験結果

リサーチクエスチョン

• RQ1 RL 学習済みの Hamilton-Jacobi 到達性を safety semantics を変更せずに認証するにはどうすればよいか。
• RQ2 一様値誤差が HJB フレームワークにどう翻訳され、到達集合の認証にどう活かせるか。
• RQ3 不連続時間の Bellman 演算子と連続時間の HJB 解にはどのような残差ベースの保証があるか。
• RQ4 SMT ベースの手法で RL 学習値関数を用いたバックワード到達の内側・外側の囲いを証明的に作成できるか。
• RQ5 二重積分器 のような標準ベンチマークで、認証済み到達包絡を生成する際の提案フレームワークの実用性はどうか。

主な発見

• 加法オフセット恒等式は一様値誤差が定数の HJB オフセットに対応し、PDE 構造を保つ。
• Bellman 演算子残差界と HJB PDE スラック界は、RL 近似の値関数誤差の一様境界を導く。
• フレームワークは関心領域上で厳密なバックワード到達チューブの内側・外側のキャリブレートされた包絡を提供する。
• SMT ベースの認証は RL 学習済みの値関数を認証し、厳密に正しい包絡を誘導できる。
• 二重積分器へのデモは、SMT を介して RL 派生の HJ 到達性を認証できる能力を確認する。