[논문 리뷰] Bridging POMDPs and Bayesian decision making for robust maintenance planning under model uncertainty: An application to railway systems

Giacomo Arcieri, Cyprien Hoelzl외 4명|arXiv (Cornell University)|2022. 12. 15.

Railway Engineering and Dynamics인용 수 3

한 줄 요약

이 논문은 행동 조건화된 은닉 마르코프 모델의 MCMC 샘플링을 통해 실질적인 철도 모니터링 데이터에서 전이 및 관측 모델 파라미터를 직접 추론하는 베이지안 POMDP 프레임워크를 제안한다. POMDP 해법을 통해 파라미터 불확실성을 전파함으로써 모델 불확실성에 강건한 유지보수 정책을 도출하며, 실세계 철도 선로 응용 사례에서 단 두 개의 관측만으로도 프랙탈 가치 지표를 사용해 거의 최적의 행동 계획을 달성한다.

ABSTRACT

Structural Health Monitoring (SHM) describes a process for inferring quantifiable metrics of structural condition, which can serve as input to support decisions on the operation and maintenance of infrastructure assets. Given the long lifespan of critical structures, this problem can be cast as a sequential decision making problem over prescribed horizons. Partially Observable Markov Decision Processes (POMDPs) offer a formal framework to solve the underlying optimal planning task. However, two issues can undermine the POMDP solutions. Firstly, the need for a model that can adequately describe the evolution of the structural condition under deterioration or corrective actions and, secondly, the non-trivial task of recovery of the observation process parameters from available monitoring data. Despite these potential challenges, the adopted POMDP models do not typically account for uncertainty on model parameters, leading to solutions which can be unrealistically confident. In this work, we address both key issues. We present a framework to estimate POMDP transition and observation model parameters directly from available data, via Markov Chain Monte Carlo (MCMC) sampling of a Hidden Markov Model (HMM) conditioned on actions. The MCMC inference estimates distributions of the involved model parameters. We then form and solve the POMDP problem by exploiting the inferred distributions, to derive solutions that are robust to model uncertainty. We successfully apply our approach on maintenance planning for railway track assets on the basis of a "fractal value" indicator, which is computed from actual railway monitoring data.

연구 동기 및 목표

• 시민 인프라를 대상으로 한 POMDP 기반 유지보수 계획에서의 모델 불확실성을 다루기 위해.
• 실세계 모니터링 데이터로부터 POMDP 전이 및 관측 모델 파라미터를 추정하는 데이터 기반 방법을 개발하기 위해.
• 베이지안 추론과 동적 프로그래밍을 통합하여 지식 부족 불확실성 하에서 강건한 유지보수 정책을 도출하기 위해.
• 실제 스위스 철도 데이터에서 얻은 프랙탈 가치 지표를 사용하여 실세계 철도 선로 유지보수 문제에 프레임워크를 적용하기 위해.
• 사전에 지정된 또는 물리적으로 유도된 모델에 의존하지 않고 종단 간 추론과 의사결정을 가능하게 하기 위해.

제안 방법

• 구조적 상태의 확률적 진화 및 관측 과정을 표현하기 위해 행동 조건화된 은닉 마르코프 모델(HMM)의 사용.
• NUTS 알고리즘을 통한 마르코프 체인 몬테카를로(MCMC) 샘플링을 활용해 POMDP 모델 파라미터의 전체 사후 분포를 추론.
• 퇴적 시스템 역학을 모델링하기 위해 截尾 스튜던트의 t 과정의 통합.
• 추론된 파라미터 분포를 사용해 불확실성에 강건한 정책을 계산하기 위해 POMDP 문제를 설정.
• 노이즈가 있는 관측으로 업데이트된 믿음 상태를 기반으로 최적의 행동 시퀀스를 도출하기 위해 QMDP 플래너의 사용.
• 종단 간 파ipeline: 원시 모니터링 데이터(프랙탈 값)에서 강건한 유지보수 정책 생성에 이르기까지.

실험 결과

연구 질문

• RQ1 물리적 모델에 의존하지 않고 실세계 모니터링 데이터로부터 POMDP 모델 파라미터를 신뢰성 있게 추론할 수 있는가?
• RQ2 POMDP에서 파라미터 불확실성을 고려함으로써 유지보수 정책의 강건성이 어떻게 향상되는가?
• RQ3 베이지안 추론과 MCMC 샘플링이 노이즈가 있는 관측이 있는 부분적으로 관측 가능한 시스템에서 정확한 믿음 업데이트를 얼마나 잘 가능하게 하는가?
• RQ4 데이터 기반 POMDP 프레임워크는 최소한의 관측 역사를 가진 상태에서 거의 최적의 유지보수 결정을 달성할 수 있는가?
• RQ5 베이지안 의사결정과 동적 프로그래밍의 통합이 인프라 유지보수에서 정책의 강건성을 어떻게 향상시키는가?

주요 결과

• MCMC 추론 과정은 높은 수렴 증거를 보였으며, 시뮬레이션 데이터가 실세계 모니터링 데이터와 매우 유사하게 나타났다.
• 단 한 번의 관측 이후, 에이전트의 믿음 상태는 진짜 숨겨진 상태를 정확하게 탐지했으며, 두 번째 관측에서 완전한 수렴을 달성했다.
• 에이전트는 거의 모든 경우에 최적의 행동을 계획했으며, 관측 불확실성으로 인해 두 번의 하위 최적 행동만이 발생했다.
• 상태 전이 기간 동안에도 정책은 매우 정확했으며, 상태 s1로의 악화를 정확히 식별하고 적절한 시점에 유지보수를 계획했다.
• 모든 가능한 파라미터 값들을 고려함으로써 이 프레임워크는 강건한 유지보수 정책을 성공적으로 생성했으며, 점 추정치에 의존하지 않았다.
• 이것은 실제 모니터링 데이터를 사용하여 실세계 철도 인프라 유지보수에 완전히 데이터 기반의 베이지안 POMDP 프레임워크를 적용한 최초의 사례이다.