[论文解读] Multi-fidelity wavelet neural operator with application to uncertainty quantification

Akshay Thakur, Tapas Tripura+1 more|arXiv (Cornell University)|Aug 11, 2022

Image Processing Techniques and Applications被引用 14

一句话总结

本文提出了一种多保真度小波神经算子（MF-WNO），通过利用大规模低保真度（LF）数据和有限的高保真度（HF）数据，提升了偏微分方程（PDEs）的代理建模性能。通过结合输入补全与基于残差的学习策略，MF-WNO 的预测误差相比仅使用高保真度数据的 WNO 降低了整整一个数量级，并在多个 PDE 基准测试中优于 MF-DeepONet，包括非定常和随机 PDE。

ABSTRACT

Operator learning frameworks, because of their ability to learn nonlinear maps between two infinite dimensional functional spaces and utilization of neural networks in doing so, have recently emerged as one of the more pertinent areas in the field of applied machine learning. Although these frameworks are extremely capable when it comes to modeling complex phenomena, they require an extensive amount of data for successful training which is often not available or is too expensive. However, this issue can be alleviated with the use of multi-fidelity learning, where a model is trained by making use of a large amount of inexpensive low-fidelity data along with a small amount of expensive high-fidelity data. To this end, we develop a new framework based on the wavelet neural operator which is capable of learning from a multi-fidelity dataset. The developed model's excellent learning capabilities are demonstrated by solving different problems which require effective correlation learning between the two fidelities for surrogate construction. Furthermore, we also assess the application of the developed framework for uncertainty quantification. The results obtained from this work illustrate the excellent performance of the proposed framework.

研究动机与目标

• 通过利用丰富的低保真度（LF）数据和稀缺的高保真度（HF）数据，解决复杂 PDE 神经算子模型训练的高数据成本问题。
• 克服单一保真度神经算子模型在训练中对大量 HF 数据依赖的局限性。
• 开发一种可扩展且高效的框架，以捕捉 LF 与 HF 数据之间复杂的非线性相关性，用于算子学习。
• 将小波神经算子（WNO）扩展至多保真度设置，同时保留其在处理不规则域和非线性 PDE 方面的优势。
• 展示该框架在低数据场景下的鲁棒性，包括随机和非定常 PDE。

提出的方法

• 该方法采用残差算子学习策略，即模型学习高保真度与低保真度预测之间的差异。
• 通过在输入中引入高保真度输出的粗粒度模拟版本，实现输入补全，从而改善不同保真度之间的特征对齐。
• 分别为低保真度和高保真度数据独立训练小波神经算子（WNO）网络，并通过残差连接融合其输出。
• 对于时间依赖的 PDE，框架采用教师强制训练方案，即使用前一时间步的预测结果作为下一时间步的输入。
• 模型通过联合使用 HF 数据和 LF 数据进行端到端训练，损失函数通过在残差上最小化均方误差（MSE）实现。
• 该方法被应用于确定性和随机 PDE，包括非定常 Allen-Cahn 方程和随机热方程。

实验结果

研究问题

• RQ1 多保真度小波神经算子能否有效学习 PDE 中低保真度与高保真度数据之间的复杂非线性相关性？
• RQ2 在预测精度和数据效率方面，MF-WNO 相较于仅使用高保真度数据的 WNO 和 MF-DeepONet 表现如何？
• RQ3 所提出的框架在泛化到未见过的初始条件和不规则域时能否保持高精度？
• RQ4 在低数据场景下，特别是针对随机 PDE，该框架是否仍保持鲁棒性和准确性？
• RQ5 输入补全与残差学习是否能显著提升多保真度算子学习中的收敛速度与预测性能？

主要发现

• 对于非定常 Allen-Cahn 方程，MF-WNO 在总共 80 条轨迹下的测试 MSE 为 2.9312 × 10⁻⁵，相比 HFSM-WNO 的 1.3158 × 10⁻⁴，降低了约一个数量级。
• 在 100 个未见过的初始条件下，MF-WNO 的 MSE 为 0.0271，而 HFSM-WNO 为 0.0779，表明其泛化能力更优。
• MF-WNO 在所有测试问题中均优于 MF-DeepONet，包括复杂的非线性与非定常 PDE。
• 该框架成功捕捉了 LF 与 HF 数据之间的非线性相关性，即使二者关系非单调或不平滑亦然。
• 对于随机热方程，MF-WNO 在低数据场景下表现出鲁棒性与高精度，证实其适用于不确定性量化任务。
• 在 t = 10 s 时刻的可视化对比显示，MF-WNO 的预测结果与真实值高度吻合，而 HFSM-WNO 显现出明显偏差。