[論文レビュー] Deep reinforcement learning driven inspection and maintenance planning under incomplete information and constraints

Charalampos Andriotis, Konstantinos G. Papakonstantinou|arXiv (Cornell University)|Jul 2, 2020

Reliability and Maintenance Optimization参考文献 71被引用数 9

ひとこと要約

本稿では、不完全な情報とリソース制約下での点検・保守計画最適化を目的として、制約付き部分的に観測可能なマルコフ意思決定過程（POMDP）と統合されたマルチエージェント深層強化学習フレームワークを提案する。ベイズ推論、状態拡張、ラグランジュ緩和を組み合わせることで、次元の呪いと履歴の問題を効果的に軽減し、ライフサイクルリスクと予算制約を遵守する。複雑で不確実性の高い環境において、既存のベースラインを上回る性能を発揮する。

ABSTRACT

Determination of inspection and maintenance policies for minimizing long-term risks and costs in deteriorating engineering environments constitutes a complex optimization problem. Major computational challenges include the (i) curse of dimensionality, due to exponential scaling of state/action set cardinalities with the number of components; (ii) curse of history, related to exponentially growing decision-trees with the number of decision-steps; (iii) presence of state uncertainties, induced by inherent environment stochasticity and variability of inspection/monitoring measurements; (iv) presence of constraints, pertaining to stochastic long-term limitations, due to resource scarcity and other infeasible/undesirable system responses. In this work, these challenges are addressed within a joint framework of constrained Partially Observable Markov Decision Processes (POMDP) and multi-agent Deep Reinforcement Learning (DRL). POMDPs optimally tackle (ii)-(iii), combining stochastic dynamic programming with Bayesian inference principles. Multi-agent DRL addresses (i), through deep function parametrizations and decentralized control assumptions. Challenge (iv) is herein handled through proper state augmentation and Lagrangian relaxation, with emphasis on life-cycle risk-based constraints and budget limitations. The underlying algorithmic steps are provided, and the proposed framework is found to outperform well-established policy baselines and facilitate adept prescription of inspection and intervention actions, in cases where decisions must be made in the most resource- and risk-aware manner.

研究の動機と目的

• 劣化する工学的システムにおける長期的点検・保守方針最適化の課題に取り組むこと。
• 深層関数近似と分散型マルチエージェント学習を活用し、大規模意思決定における次元の呪いと履歴の問題を克服すること。
• POMDPフレームワーク内でのベイズ推論を用いて、確率的環境とノイズの多い監視データに起因する状態の不確実性をモデル化・軽減すること。
• 予算制限やリスクしきい値などの実用的制約を、状態拡張とラグランジュ緩和を用いて強化学習フレームワークに組み込むこと。
• 複雑で情報が不完全な状況下でも、従来のポリシー・ベースラインを上回るスケーラブルでリスクに配慮した意思決定システムの開発

提案手法

• 部分的観測下での逐次的意思決定をモデル化するため、制約付きPOMDPを採用。信念状態の更新にはベイズ推論を適用。
• 価値関数とポリシーの近似にマルチエージェント深層強化学習を用い、深層関数パラメータ化による計算複雑度の低減を実現。
• 予算やリスクしきい値といった制約を状態空間に直接埋め込むために、状態拡張を適用。制約に配慮した学習を可能にする。
• ハード制約を緩和し、安定した学習を可能にするために、ラグランジュ緩和を用いて制約を報酬関数内のペナルティ項に変換。
• 高次元で不確実性の高い環境における探索と活用のバランスを、確率的動的計画法と深層ニューラルネットワークの統合により実現。
• エンドツーエンド学習により、点検と保守行動の共同最適化を達成。長期的コストとリスクの最小化を目的とする。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習をPOMDPと効果的に組み合わせることで、大規模な保守計画における次元の呪いと履歴の問題をどのように軽減できるか？
• RQ2 ノイズの多い測定値や確率的ダイナミクスに起因する状態の不確実性は、保守意思決定においてどのようにモデル化され、軽減されるか？
• RQ3 予算制限やリスクしきい値といったリソース制約を、最適性を損なわせることなく強化学習フレームワークに統合する方法は何か？
• RQ4 提案手法は、コスト、リスク、制約満たしの観点で、既存のポリシー・ベースラインをどの程度上回るか？
• RQ5 本フレームワークは、情報が不完全で複数の相互作用する部品を有する複雑な実世界の工学的システムへスケーリング可能か？

主な発見

• 深層関数近似とマルチエージェント学習を活用することで、次元の呪いと履歴の問題が効果的に軽減された。
• POMDPとベイズ推論の統合により、部分的観測と測定ノイズの下でも正確な信念状態推定が可能になった。
• 状態拡張とラグランジュ緩和により、ライフサイクルリスクと予算制約が効果的に強制され、実行可能で安全なシステム運用が保証された。
• 複数のテストシナリオにおいて、長期的コストとリスクの最小化という点で、well-establishedなポリシー・ベースラインを上回った。
• 深刻な情報制限下でも、適切でリスクに配慮した点検・保守行動の提示が可能となった。
• 実験的結果は、従来のアプローチと比較して、複雑で不確実性の高い環境におけるより優れたロバストネスとスケーラビリティを示した。