[논문 리뷰] COOL-MC: Verifying and Explaining RL Policies for Multi-bridge Network Maintenance

Dennis Gross|arXiv (Cornell University)|2026. 03. 08.

Infrastructure Maintenance and Monitoring인용 수 0

한 줄 요약

이 논문은 COOL-MC를 세 다리(브리지) 네트워크로 확장하고, PRISM-encoded MDP에서 PPO로 RL 정책을 학습하며, 확률적 모델 검사와 해석 가능성을 사용해 안전성을 검증하고 의사결정을 해석한다. 이 접근법은 정량화된 안전 위반 확률을 산출하고 다리 간 정책 편향을 드러낸다.

ABSTRACT

Aging bridge networks require proactive, verifiable, and interpretable maintenance strategies, yet reinforcement learning (RL) policies trained solely on reward signals provide no formal safety guarantees and remain opaque to infrastructure managers. We demonstrate COOL-MC as a tool for verifying and explaining RL policies for multi-bridge network maintenance, building on a single-bridge Markov decision process (MDP) from the literature and extending it to a parallel network of three heterogeneous bridges with a shared periodic budget constraint, encoded in the PRISM modeling language. We train an RL agent on this MDP and apply probabilistic model checking and explainability methods to the induced discrete-time Markov chain (DTMC) that arises from the interaction between the learned policy and the underlying MDP. Probabilistic model checking reveals that the trained policy has a safety-violation probability of 3.5\% over the planning horizon, being slightly above the theoretical minimum of 0\% and indicating the suboptimality of the learned policy, noting that these results are based on artificially constructed transition probabilities and deterioration rates rather than real-world data, so absolute performance figures should be interpreted with caution. The explainability analysis further reveals, for instance, a systematic bias in the trained policy toward the state of bridge 1 over the remaining bridges in the network. These results demonstrate COOL-MC's ability to provide formal, interpretable, and practical analysis of RL maintenance policies.

연구 동기 및 목표

• 노후하는 브리지 네트워크의 예산 제약하에서 선제적이고 검증 가능한 유지보수를 촉진한다.
• PRISM MDP로 다중 브리지 유지보수 문제를 인코딩하고 RL 정책을 학습한다.
• induced-DTMC 확률 모델 검사로 안전 및 성능 속성을 검증한다.
• RL 유지보수 의사결정을 이해하고 신뢰하기 위한 설명 가능성 분석을 제공한다.

제안 방법

• 전체 10포인트 NBI 척도으로 공유 예산 4년을 갖는 세 다리의 병렬 네트워크를 PRISM MDP로 인코딩한다.
• 구조적 생존을 극대화하고 개입 비용을 최소화하기 위해 심층 RL 정책(PPO)을 학습한다.
• 훈련된 정책에서 도달 가능한 상태만 탐색하여 유도 DTMC D^π를 구성한 다음, Storm 기반 PCTL 질의로 속성을 검증한다.
• 유도 DTMC에서 특징 묶기, 기울기 기반 시사도, 행동 표기, 반사실적 행동 대체를 포함한 설명 가능성 방법을 적용하고 이를 PCTL 질의와 통합한다.
• 검증 및 설명 가능성 분석에서 도출된 안전 보장 및 해석 가능성 결과를 보고한다.

실험 결과

연구 질문

• RQ1 다중 브리지 네트워크에서 공유 예산 하에 RL 유래 유지보수 정책의 안전성/생존 가능성은 어떤가?
• RQ2 PRISM 모델 내의 확률적 악화 역학에서 정책은 어떻게 수행되는가?
• RQ3 브리지와 행동 전반에 걸쳐 정책의 의사결정에 대해 어떤 설명(글로벌 및 지역)이 도출되는가?
• RQ4 반사실적 및 특징 기반 분석이 유지보수 계획의 편향이나 안전에 영향을 미치는 요인을 드러낼 수 있는가?

주요 결과

• 훈련된 정책에 대해 20년 계획 기간 동안 3.5%의 안전 위반 확률을 확률적 모델 검사에서 발견했다.
• 3-bridge 정책은 설명 가능성 분석에서 브리지 1에 대한 체계적 편향을 드러낸다.
• COOL-MC는 인프라 맥락에서 RL 유지보수 정책에 대해 형식적이고 해석 가능한 검증 및 실용적 분석을 성공적으로 제공한다.
• 결과는 인위적으로 구성된 전이 확률과 악화율을 기반으로 하므로 절대 수치를 주의해서 해석해야 한다.