[論文レビュー] Bridging POMDPs and Bayesian decision making for robust maintenance planning under model uncertainty: An application to railway systems

Giacomo Arcieri, Cyprien Hoelzl+4 more|arXiv (Cornell University)|Dec 15, 2022

Railway Engineering and Dynamics被引用数 3

ひとこと要約

本稿では、MCMCサンプリングを用いて行動に条件づけられた隠れマルコフモデルを介して、実鉄道監視データから遷移および観測モデルのパラメータを直接推定するベイジアンPOMDPフレームワークを提案する。POMDPの解法にパラメータの不確実性を伝搬させることで、モデルの不確実性に対してロバストな保守方針を生成し、実世界の鉄道線路応用において、2つの観測のみで準最適な行動計画を達成する。この応用では、フラクタル値指標が用いられている。

ABSTRACT

Structural Health Monitoring (SHM) describes a process for inferring quantifiable metrics of structural condition, which can serve as input to support decisions on the operation and maintenance of infrastructure assets. Given the long lifespan of critical structures, this problem can be cast as a sequential decision making problem over prescribed horizons. Partially Observable Markov Decision Processes (POMDPs) offer a formal framework to solve the underlying optimal planning task. However, two issues can undermine the POMDP solutions. Firstly, the need for a model that can adequately describe the evolution of the structural condition under deterioration or corrective actions and, secondly, the non-trivial task of recovery of the observation process parameters from available monitoring data. Despite these potential challenges, the adopted POMDP models do not typically account for uncertainty on model parameters, leading to solutions which can be unrealistically confident. In this work, we address both key issues. We present a framework to estimate POMDP transition and observation model parameters directly from available data, via Markov Chain Monte Carlo (MCMC) sampling of a Hidden Markov Model (HMM) conditioned on actions. The MCMC inference estimates distributions of the involved model parameters. We then form and solve the POMDP problem by exploiting the inferred distributions, to derive solutions that are robust to model uncertainty. We successfully apply our approach on maintenance planning for railway track assets on the basis of a "fractal value" indicator, which is computed from actual railway monitoring data.

研究の動機と目的

• 民事インフラのPOMDPベース保守計画におけるモデルの不確実性に対処すること。
• 実世界の監視データからPOMDPの遷移および観測モデルパラメータを推定するデータ駆動型手法を開発すること。
• ベイジアン推論と動的計画法を統合し、認識的不確実性下でのロバストな保守方針を生成すること。
• 実際のスイス鉄道データから得たフラクタル値指標を用いて、実世界の鉄道線路保守問題にこのフレームワークを適用すること。
• 事前定義されたモデルや物理的導出に基づくモデルに依存せずに、エンドツーエンドの推論と意思決定を可能にすること。

提案手法

• 構造的状態と観測プロセスの確率的変化を表現するために、行動に条件づけられた隠れマルコフモデル（HMM）の使用。
• NUTSアルゴリズムを用いたマルコフ連鎖モンテカルロ（MCMC）サンプリングを適用し、POMDPモデルパラメータの完全な後確率分布を推定する。
• 劣化するシステムダイナミクスをモデル化するために、切り捨てられたスチューデントのt過程の導入。
• 推定されたパラメータ分布を用いてPOMDP問題を定式化し、不確実性に強い方策を計算する。
• ノイズのある観測から更新された信念状態に基づき、最適な行動シーケンスを導出するQMDPプランナの使用。
• エンドツーエンドのパイプライン：原始的な監視データ（フラクタル値）からロバストな保守方針生成まで。

実験結果

リサーチクエスチョン

• RQ1 物理的モデルに依存せずに、実世界の監視データからPOMDPモデルパラメータを信頼性高く推定できるか？
• RQ2 POMDPにおけるパラメータの不確実性を考慮することで、保守方針のロバスト性はどのように向上するか？
• RQ3 ベイジアン推論とMCMCサンプリングは、ノイズのある観測を持つ部分的に観測可能なシステムにおいて、どの程度正確な信念更新を可能にするか？
• RQ4 データ駆動型POMDPフレームワークは、最小限の観測履歴でのみ、準最適な保守意思決定を達成できるか？
• RQ5 ベイジアン意思決定と動的計画法の統合は、インフラ保守における方策のロバスト性をどのように向上させるか？

主な発見

• MCMC推定プロセスは高い収束の証拠を示し、シミュレーションデータが実世界の監視データとよく一致していた。
• 1回の観測後、エージェントの信念状態は真の隠れ状態を正確に検出でき、2回目の観測で完全な収束を達成した。
• エージェントはほぼすべての状況で最適な行動を計画したが、観測の不確実性による2件の部分最適な行動を除いては、すべてが最適であった。
• 状態遷移中でさえも方針は極めて正確であり、状態s1への劣化を正しく特定し、適切な時期に保守を計画した。
• 本フレームワークは、点推定に依存するのではなく、すべての妥当なパラメータ値を考慮することで、ロバストな保守方針を成功裏に生成した。
• 本稿は、実際の監視データを用いた実世界の鉄道インフラ保守に、完全にデータ駆動型のベイジアンPOMDPフレームワークを初めて適用した。