[論文レビュー] POMDP inference and robust solution via deep reinforcement learning: An application to railway optimal maintenance

Giacomo Arcieri, Cyprien Hoelzl+4 more|arXiv (Cornell University)|Jul 16, 2023

Infrastructure Maintenance and Monitoring被引用数 3

ひとこと要約

本稿では、MCMCを用いたベイズ推論により、部分的に観測可能なマルコフ決定過程（POMDP）の遷移および観測モデルパラメータを同時に推定し、その不確実性をドメインランダマイゼーションを用いてロバストに解く深層強化学習フレームワークを提案する。この手法により、モデル不確実性下での最適な鉄道保守計画が可能となり、スイス連邦鉄道（SBB）の実データにおいて、標準的な強化学習ベースラインよりもロバスト性と性能に優れた結果が得られた。

ABSTRACT

Partially Observable Markov Decision Processes (POMDPs) can model complex sequential decision-making problems under stochastic and uncertain environments. A main reason hindering their broad adoption in real-world applications is the lack of availability of a suitable POMDP model or a simulator thereof. Available solution algorithms, such as Reinforcement Learning (RL), require the knowledge of the transition dynamics and the observation generating process, which are often unknown and non-trivial to infer. In this work, we propose a combined framework for inference and robust solution of POMDPs via deep RL. First, all transition and observation model parameters are jointly inferred via Markov Chain Monte Carlo sampling of a hidden Markov model, which is conditioned on actions, in order to recover full posterior distributions from the available data. The POMDP with uncertain parameters is then solved via deep RL techniques with the parameter distributions incorporated into the solution via domain randomization, in order to develop solutions that are robust to model uncertainty. As a further contribution, we compare the use of transformers and long short-term memory networks, which constitute model-free RL solutions, with a model-based/model-free hybrid approach. We apply these methods to the real-world problem of optimal maintenance planning for railway assets.

研究の動機と目的

• 実世界の工学的応用、特にインfraストラクチャー保守において利用可能なPOMDPモデルの不足に取り組む。
• MCMCを用いたベイズ推論により、実世界の監視データから遷移および観測モデルパラメータを同時に推定する。
• 遷移および観測ダイナミクスにおけるモデル不確実性を考慮したロバストなPOMDPソリューションを開発する。
• 保守計画におけるPOMDPに対して、モデルフリー（LSTM、Transformer）とハイブリッドモデルベース／モデルフリー強化学習アプローチを比較する。
• スイス連邦鉄道（SBB）のデータを用いて、実世界の鉄道資産保守問題に本フレームワークを適用する。

提案手法

• 行動に条件付けられた隠れマルコフモデル上で、マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いて、POMDPの遷移および観測モデルパラメータを同時に推定する。
• モデルパラメータの完全な事後分布を強化学習ポリシーの入力として使用し、モデル不確実性を符号化する。
• 訓練中にドメインランダマイゼーションを適用し、POMDPモデルにおけるパラメータ不確実性に対するロバスト性を向上させる。
• 信念ネットワークを用いて部分観測を処理し、信念状態を維持するように、Proximal Policy Optimization（PPO）を用いて深層強化学習エージェントを訓練する。
• Transformerベース（GTrXL）、LSTMベース、およびハイブリッドモデルベース／モデルフリー強化学習アーキテクチャの性能を比較する。
• スイス連邦鉄道（SBB）の実世界監視データを用いて、フレームワークの訓練および検証を行う。

実験結果

リサーチクエスチョン

• RQ1 実世界のインfraストラクチャー保守データに、POMDPの遷移および観測モデルの連合ベイズ推定を効果的に適用できるか？
• RQ2 ドメインランダマイゼーションを用いてモデルパラメータの完全な事後分布を組み込むことで、POMDPソリューションにおけるロバスト性がどのように向上するか？
• RQ3 不確実なPOMDP環境下で、モデルフリー（LSTM、Transformer）とハイブリッドモデルベース／モデルフリー強化学習アプローチの相対的な性能はいかほどか？
• RQ4 提案フレームワークは、鉄道資産管理におけるベースラインポリシーと比較して、総保守コストをどの程度低減できるか？
• RQ5 異なるニューラルネットワークアーキテクチャ（GTrXL 対 LSTM）は、モデル不確実性下でのポリシー学習およびロバスト性にどのように影響を与えるか？

主な発見

• 提案フレームワークは、MCMCを用いて実世界の鉄道監視データからPOMDPパラメータの完全な事後分布を効果的に推定し、不確実性を考慮したモデリングを可能にした。
• 推定されたパラメータ分布を用いたドメインランダマイゼーションは、ポリシーのロバスト性を顕著に向上させ、モデル誤指定への感受性を低減した。
• ハイブリッドモデルベース／モデルフリー手法は、純粋なモデルフリー手法（LSTMおよびGTrXL）よりも長期的なコスト効率と安定性に優れた性能を示した。
• この保守設定において、Transformerベース（GTrXL）アーキテクチャは、LSTMに比べて長期間依存関係をより優れた性能で扱った。
• 最終的なポリシーは、SBBデータセットにおいて、ベースラインヒューリスティックポリシーと比較して予想総保守コストを15–20％削減した。
• 本手法は、パラメータ不確実性下でも優れた一般化性能を示し、インfraストラクチャー資産管理分野における実世界への展開に適していることが検証された。