[論文レビュー] COOL-MC: Verifying and Explaining RL Policies for Multi-bridge Network Maintenance

Dennis Gross|arXiv (Cornell University)|Mar 8, 2026

Infrastructure Maintenance and Monitoring被引用数 0

ひとこと要約

この論文は COOL-MC を三橋梁ネットワークに拡張し、PRISM でエンコードされた MDP に対して PPO で RL ポリシーを訓練し、確率的モデル検査と説明可能性を用いて安全性を検証し意思決定を解釈する。アプローチは安全性違反確率を定量化し、橋梁間のポリシー偏りを明らかにする。

ABSTRACT

Aging bridge networks require proactive, verifiable, and interpretable maintenance strategies, yet reinforcement learning (RL) policies trained solely on reward signals provide no formal safety guarantees and remain opaque to infrastructure managers. We demonstrate COOL-MC as a tool for verifying and explaining RL policies for multi-bridge network maintenance, building on a single-bridge Markov decision process (MDP) from the literature and extending it to a parallel network of three heterogeneous bridges with a shared periodic budget constraint, encoded in the PRISM modeling language. We train an RL agent on this MDP and apply probabilistic model checking and explainability methods to the induced discrete-time Markov chain (DTMC) that arises from the interaction between the learned policy and the underlying MDP. Probabilistic model checking reveals that the trained policy has a safety-violation probability of 3.5\% over the planning horizon, being slightly above the theoretical minimum of 0\% and indicating the suboptimality of the learned policy, noting that these results are based on artificially constructed transition probabilities and deterioration rates rather than real-world data, so absolute performance figures should be interpreted with caution. The explainability analysis further reveals, for instance, a systematic bias in the trained policy toward the state of bridge 1 over the remaining bridges in the network. These results demonstrate COOL-MC's ability to provide formal, interpretable, and practical analysis of RL maintenance policies.

研究の動機と目的

• 予算制約の下で高齢橋ネットワークの proactively な、検証可能な保全を動機づける。
• PRISM MDP として複数橋の保全問題を符号化し、RL ポリシーを訓練する。
• induced-DTMC の確率モデル検査を適用して安全性と性能特性を検証する。
• 検証および説明可能性分析を提供して RL 保全意思決定を理解・信頼する。

提案手法

• 予算が共有される三橋の並列ネットワークを full ten-point NBI スケールを用いて PRISM MDP に符号化する。
• 構造的生存を最大化し介入コストを最小化する深層 RL ポリシー（PPO）を訓練する。
• 訓練済みポリシーから到達可能な状態のみを探索して誘導DTMC D^π を構築し、Storm ベースの PCTL クエリで特性を検証する。
• 誘導 DTMC 上で説明可能性手法（特徴のランプ化、勾配ベースの顕性、アクションのラベリング、反事実的アクション置換）を PCTL クエリと統合して適用する。
• 検証と説明可能性分析から得られた安全保証と解釈可能性の知見を報告する。

実験結果

リサーチクエスチョン

• RQ1 共有予算の下でマルチブリッジ network に適用した RL 派生の保全ポリシーの安全性/実現性はどうか。
• RQ2 PRISM モデル内の確率的劣化ダイナミクスの下でポリシーはどう機能するか。
• RQ3 橋梁とアクションに渡るポリシーの決定について、全体的および局所的な説明は何か。
• RQ4 counterfactual および特徴ベースの分析は保全計画における潜在的バイアスや安全上の要因を露呈できるか。

主な発見

• 訓練されたポリシーについて、20年間の計画期間での安全性違反確率が 3.5% であることを確率モデル検査が示す。
• 3橋梁ポリシーは説明可能性分析で橋梁1への体系的なバイアスを明らかにする。
• COOL-MC はインフラ文脈の RL 保全ポリシーに対して正式で解釈可能な検証と実践的分析を提供する。
• 結果は人工的に構成された遷移確率と劣化率に基づくため、絶対値は解釈に注意が必要。