[论文解读] Deep Probabilistic Surrogate Networks for Universal Simulator Approximation

Atılım Güneş Baydin|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks参考文献 37被引用 6

一句话总结

本文提出深度概率代理网络（DPSN），可学习复杂随机模拟器的可解释、快速且精确的神经近似，同时保留其结构语义。通过用代理模型替代商用复合材料固化模拟器，该方法将摊销推断速度提升一个数量级，实现基于表面测量恢复潜在温度分布的实时、非侵入式质量评估。

ABSTRACT

We present a framework for automatically structuring and training fast, approximate, deep neural surrogates of existing stochastic simulators. Unlike traditional approaches to surrogate modeling, our surrogates retain the interpretable structure of the reference simulators. The particular way we achieve this allows us to replace the reference simulator with the surrogate when undertaking amortized inference in the probabilistic programming sense. The fidelity and speed of our surrogates allow for not only faster forward stochastic simulation but also for accurate and substantially faster inference. We support these claims via experiments that involve a commercial composite-materials curing simulator. Employing our surrogate modeling technique makes inference an order of magnitude faster, opening up the possibility of doing simulator-based, non-invasive, just-in-time parts quality testing; in this case inferring safety-critical latent internal temperature profiles of composite materials undergoing curing from surface temperature profile measurements.

研究动机与目标

• 开发一种代理建模框架，保留随机模拟器的可解释结构，同时实现快速推理。
• 通过用深度神经网络代理替代原始模拟器，解决随机模拟器在概率编程工作负载中的计算瓶颈问题。
• 在基于复杂模拟器的模型中实现摊销推断，尤其适用于复合材料固化等安全关键应用。
• 展示使用代理模型实现工业过程中非侵入性、即时质量检测的可行性。

提出的方法

• 该框架构建深度神经网络，以模拟参考模拟器的结构和概率行为，同时保持其可解释性。
• 采用可微分架构，将输入条件映射到输出分布，模仿模拟器的随机动力学。
• 通过参考模拟器生成的数据端到端训练代理模型，保留模拟器的条件概率结构。
• 通过将代理模型条件化于观测数据，实现摊销推断，从而实现高效的后验近似。
• 该方法支持使用同一代理网络进行前向模拟和后验推断。
• 训练过程确保代理模型的预测分布与原始模拟器的分布高度一致。

实验结果

研究问题

• RQ1 能否训练一个深度神经网络代理，以保留复杂随机模拟器的结构和概率语义？
• RQ2 此类代理在概率编程工作负载中能在多大程度上加速推理？
• RQ3 代理能否实现从有限可观测数据中实时、非侵入式地推断潜在内部状态？
• RQ4 在安全关键的推理任务中，代理模型的准确性与原始模拟器相比如何？
• RQ5 代理模型能否在工业过程中有效用于即时质量检测？

主要发现

• 与原始模拟器相比，代理模型将推理速度提升了10倍，实现实时分析。
• 代理模型保持了与原始模拟器输出分布的高度保真度，确保推理的可靠性。
• 成功从表面温度测量中恢复了复合材料中潜在内部温度分布的精确结果。
• 通过推断关键安全的内部状态，该方法实现了非侵入性、即时的质量检测，无需物理探针。
• 代理模型同时支持快速前向模拟和高效的后验推断，适用于概率编程流水线。
• 该框架在涉及复合材料固化的实际工业应用中展示了实际可行性。