[论文解读] Bridging POMDPs and Bayesian decision making for robust maintenance planning under model uncertainty: An application to railway systems

Giacomo Arcieri, Cyprien Hoelzl+4 more|arXiv (Cornell University)|Dec 15, 2022

Railway Engineering and Dynamics被引用 3

一句话总结

该论文提出了一种贝叶斯POMDP框架，通过使用MCMC采样对动作条件化的隐马尔可夫模型进行采样，直接从真实铁路监测数据中推断转移模型和观测模型参数。通过将参数不确定性传播至POMDP求解过程中，该方法生成了对模型不确定性具有鲁棒性的维护策略，在仅使用两次观测的现实世界铁路轨道应用中，利用分形价值指标实现了近乎最优的动作规划。

ABSTRACT

Structural Health Monitoring (SHM) describes a process for inferring quantifiable metrics of structural condition, which can serve as input to support decisions on the operation and maintenance of infrastructure assets. Given the long lifespan of critical structures, this problem can be cast as a sequential decision making problem over prescribed horizons. Partially Observable Markov Decision Processes (POMDPs) offer a formal framework to solve the underlying optimal planning task. However, two issues can undermine the POMDP solutions. Firstly, the need for a model that can adequately describe the evolution of the structural condition under deterioration or corrective actions and, secondly, the non-trivial task of recovery of the observation process parameters from available monitoring data. Despite these potential challenges, the adopted POMDP models do not typically account for uncertainty on model parameters, leading to solutions which can be unrealistically confident. In this work, we address both key issues. We present a framework to estimate POMDP transition and observation model parameters directly from available data, via Markov Chain Monte Carlo (MCMC) sampling of a Hidden Markov Model (HMM) conditioned on actions. The MCMC inference estimates distributions of the involved model parameters. We then form and solve the POMDP problem by exploiting the inferred distributions, to derive solutions that are robust to model uncertainty. We successfully apply our approach on maintenance planning for railway track assets on the basis of a "fractal value" indicator, which is computed from actual railway monitoring data.

研究动机与目标

• 解决基于POMDP的土木基础设施维护规划中的模型不确定性问题。
• 开发一种数据驱动方法，从现实世界的监测数据中估计POMDP的转移和观测模型参数。
• 将贝叶斯推断与动态规划相结合，以在知识不确定性下生成鲁棒的维护策略。
• 在基于真实瑞士铁路数据中提取的分形价值指标的现实世界铁路轨道维护问题上展示该框架。
• 实现端到端的推断与决策制定，无需依赖预设或基于物理推导的模型。

提出的方法

• 使用动作条件化的隐马尔可夫模型（HMM）来表示结构状态和观测过程的随机演化。
• 通过NUTS算法应用马尔可夫链蒙特卡洛（MCMC）采样，推断POMDP模型参数的完整后验分布。
• 引入截断的t分布过程以建模退化系统动力学。
• 利用推断出的参数分布来构建POMDP问题，以计算对不确定性具有鲁棒性的策略。
• 使用QMDP规划器基于从噪声观测中更新的信念状态，推导最优动作序列。
• 端到端流程：从原始监测数据（分形值）到鲁棒维护策略的生成。

实验结果

研究问题

• RQ1 是否能够仅从现实世界的监测数据中可靠地推断POMDP模型参数，而无需依赖物理模型？
• RQ2 在POMDP中考虑参数不确定性如何提升维护策略的鲁棒性？
• RQ3 贝叶斯推断与MCMC采样在具有噪声观测的部分可观察系统中，能在多大程度上实现准确的信念更新？
• RQ4 数据驱动的POMDP框架是否能在极短的观测历史下实现近乎最优的维护决策？
• RQ5 将贝叶斯决策制定与动态规划相结合，如何增强基础设施维护中策略的鲁棒性？

主要发现

• MCMC推断过程表现出高度的收敛性证据，模拟数据与真实世界监测数据高度相似。
• 在仅一次观测后，智能体的信念状态即准确检测到真实隐藏状态，到第二次观测时已实现完全收敛。
• 在几乎所有情况下，智能体均规划出最优动作，仅有两次因观测不确定性导致次优动作。
• 即使在状态转移过程中，策略仍保持高度准确，能正确识别退化至状态s1，并规划及时维护。
• 该框架通过考虑所有可能的参数值，成功生成了鲁棒的维护策略，而非依赖于点估计。
• 这是首次将完全数据驱动的贝叶斯POMDP框架应用于真实世界铁路基础设施维护，使用实际监测数据。