[论文解读] Value of structural health information in partially observable stochastic environments

Charalampos Andriotis, Konstantinos G. Papakonstantinou+1 more|arXiv (Cornell University)|Dec 28, 2019

Probabilistic and Robust Engineering Design参考文献 64被引用 5

一句话总结

本文在部分可观察马尔可夫决策过程（POMDPs）中形式化了信息价值（VoI）与结构健康监测价值（VoSHM），以优化退化工程系统的检测与监测策略。结果表明，POMDP策略天然地最大化VoI，且结构健康信息始终能降低长期决策成本，优于基础设施管理中常用的局部最优策略。

ABSTRACT

Efficient integration of uncertain observations with decision-making optimization is key for prescribing informed intervention actions, able to preserve structural safety of deteriorating engineering systems. To this end, it is necessary that scheduling of inspection and monitoring strategies be objectively performed on the basis of their expected value-based gains that, among others, reflect quantitative metrics such as the Value of Information (VoI) and the Value of Structural Health Monitoring (VoSHM). In this work, we introduce and study the theoretical and computational foundations of the above metrics within the context of Partially Observable Markov Decision Processes (POMDPs), thus alluding to a broad class of decision-making problems of partially observable stochastic deteriorating environments that can be modeled as POMDPs. Step-wise and life-cycle VoI and VoSHM definitions are devised and their bounds are analyzed as per the properties stemming from the Bellman equation and the resulting optimal value function. It is shown that a POMDP policy inherently leverages the notion of VoI to guide observational actions in an optimal way at every decision step, and that the permanent or intermittent information provided by SHM or inspection visits, respectively, can only improve the cost of this policy in the long-term, something that is not necessarily true under locally optimal policies, typically adopted in decision-making of structures and infrastructure. POMDP solutions are derived based on point-based value iteration methods, and the various definitions are quantified in stationary and non-stationary deteriorating environments, with both infinite and finite planning horizons, featuring single- or multi-component engineering systems.

研究动机与目标

• 建立一个理论与计算框架，用于量化部分可观察、随机环境中的结构健康信息价值。
• 解决土木基础设施系统决策中的空白，其中检测与监测策略通常基于次优的、局部贪婪的策略。
• 在POMDP中正式定义分步与全生命周期的VoI与VoSHM，实现检测与监测的客观调度。
• 利用贝尔曼方程性质与最优值函数，分析VoI与VoSHM的边界。
• 证明基于POMDP的策略通过利用信息降低长期成本，优于局部最优策略。

提出的方法

• 在POMDP框架内形式化分步与全生命周期的VoI与VoSHM度量，利用贝尔曼方程推导最优值函数。
• 应用基于点的值迭代方法计算POMDP解，实现在复杂、部分可观察环境中的可计算性。
• 对单组件与多组件系统，建模平稳与非平稳退化过程，涵盖无限与有限规划时域。
• 基于最优值函数结构与POMDP动态，推导VoI与VoSHM的理论边界。
• 将基于POMDP的策略与局部最优策略进行比较，量化信息获取带来的长期成本改善。
• 在多种工程系统配置中量化度量，包括具有间歇性或永久监测数据的系统。

实验结果

研究问题

• RQ1 如何在退化工程系统的POMDP框架中，正式定义并界定信息价值（VoI）？
• RQ2 与无监测或局部最优策略相比，结构健康监测（SHM）在多大程度上改善了长期决策成本？
• RQ3 分步与全生命周期的VoI与VoSHM度量在检测与监测调度方面有何不同含义？
• RQ4 POMDP策略在何种方式下天然地利用VoI，以在每个决策步骤中引导最优观测行为？
• RQ5 VoI与VoSHM的理论边界是什么？它们与POMDP中最优值函数的性质有何关联？

主要发现

• POMDP策略天然地利用信息价值（VoI），以最小化长期成本的方式指导观测行为。
• 来自SHM或检测的永久性或间歇性信息始终能改善策略的长期成本表现，而局部最优策略则不能。
• 基于贝尔曼方程与最优值函数结构，推导出VoI与VoSHM的理论边界。
• 基于点的值迭代方法成功计算了在无限与有限规划时域下，单组件与多组件系统的POMDP解。
• 全生命周期VoSHM度量量化了监测在整个系统生命周期中带来的总期望成本降低，为SHM投资提供了决策理论基础。
• 在非平稳退化环境中，信息价值依然显著，且POMDP策略比贪婪替代方案更能有效适应系统状态变化。