[论文解读] Deep reinforcement learning driven inspection and maintenance planning under incomplete information and constraints

Charalampos Andriotis, Konstantinos G. Papakonstantinou|arXiv (Cornell University)|Jul 2, 2020

Reliability and Maintenance Optimization参考文献 71被引用 9

一句话总结

本文提出了一种集成约束部分可观察马尔可夫决策过程（POMDP）的多智能体深度强化学习框架，以在信息不完整和资源受限条件下优化检测与维护规划。通过结合贝叶斯推断、状态扩展和拉格朗日松弛法，该方法有效缓解了维度灾难与历史依赖问题，同时强制执行全生命周期风险与预算约束，在复杂且不确定的环境中优于现有基线方法。

ABSTRACT

Determination of inspection and maintenance policies for minimizing long-term risks and costs in deteriorating engineering environments constitutes a complex optimization problem. Major computational challenges include the (i) curse of dimensionality, due to exponential scaling of state/action set cardinalities with the number of components; (ii) curse of history, related to exponentially growing decision-trees with the number of decision-steps; (iii) presence of state uncertainties, induced by inherent environment stochasticity and variability of inspection/monitoring measurements; (iv) presence of constraints, pertaining to stochastic long-term limitations, due to resource scarcity and other infeasible/undesirable system responses. In this work, these challenges are addressed within a joint framework of constrained Partially Observable Markov Decision Processes (POMDP) and multi-agent Deep Reinforcement Learning (DRL). POMDPs optimally tackle (ii)-(iii), combining stochastic dynamic programming with Bayesian inference principles. Multi-agent DRL addresses (i), through deep function parametrizations and decentralized control assumptions. Challenge (iv) is herein handled through proper state augmentation and Lagrangian relaxation, with emphasis on life-cycle risk-based constraints and budget limitations. The underlying algorithmic steps are provided, and the proposed framework is found to outperform well-established policy baselines and facilitate adept prescription of inspection and intervention actions, in cases where decisions must be made in the most resource- and risk-aware manner.

研究动机与目标

• 解决在不确定性和约束条件下，退化工程系统长期检测与维护策略优化的挑战。
• 通过利用深度函数逼近与去中心化的多智能体学习，克服大规模决策中的维度灾难与历史依赖问题。
• 通过POMDP框架内的贝叶斯推断，建模并缓解由随机环境与噪声监测数据引起的状态不确定性。
• 通过状态扩展与拉格朗日松弛法，强制执行预算限制与风险阈值等实际约束。
• 开发一种可扩展、具备风险意识的决策系统，在复杂且信息不完整的环境中优于传统策略基线。

提出的方法

• 该框架采用约束POMDP建模部分可观察环境下的序贯决策过程，并通过贝叶斯推断实现信念状态更新。
• 采用多智能体深度强化学习近似值函数与策略，通过深度函数参数化降低计算复杂度。
• 应用状态扩展将预算与风险阈值等约束直接嵌入状态空间，实现约束感知学习。
• 利用拉格朗日松弛法松弛硬性约束，将其转化为奖励函数中的惩罚项，以实现稳定训练。
• 算法结合随机动态规划与深度神经网络，在高维、不确定环境中平衡探索与利用。
• 通过端到端训练实现检测与维护动作的联合优化，最小化长期成本与风险。

实验结果

研究问题

• RQ1 如何有效结合深度强化学习与POMDP，以应对大规模维护规划中的维度灾难与历史依赖问题？
• RQ2 在维护决策中，如何对由噪声测量与随机动力学引起的状态不确定性进行建模与缓解？
• RQ3 如何在不损害最优性的情况下，将预算限制与风险阈值等资源约束嵌入强化学习框架？
• RQ4 所提出方法在成本、风险与约束满足方面，相较于成熟策略基线的性能提升程度如何？
• RQ5 该框架能否在信息不完整且包含多个相互作用组件的复杂真实工程系统中实现可扩展性？

主要发现

• 所提框架通过利用深度函数逼近与多智能体学习，成功缓解了维度灾难与历史依赖问题。
• POMDP与贝叶斯推断的结合，即使在部分可观察与测量噪声环境下，也能实现准确的信念状态估计。
• 状态扩展与拉格朗日松弛法有效强制执行全生命周期风险与预算约束，确保系统运行的可行性与安全性。
• 该方法在多个测试场景中，均优于成熟策略基线，有效最小化长期成本与风险。
• 即使在严重信息限制下，该框架仍能实现高效、具备风险意识的检测与维护动作推荐。
• 实验结果表明，与传统方法相比，该框架在复杂不确定环境中展现出更优的鲁棒性与可扩展性。