[论文解读] Integrating Deep Neural Networks with Full-waveform Inversion: Reparametrization, Regularization, and Uncertainty Quantification

Weiqiang Zhu, Kailai Xu+3 more|arXiv (Cornell University)|Dec 21, 2020

Seismic Imaging and Inversion Techniques参考文献 50被引用 15

一句话总结

本文提出神经网络全波形反演（NNFWI），一种物理信息驱动的深度学习方法，通过生成神经网络对全波形反演（FWI）中的速度模型进行参数化。通过利用自动微分技术，将梯度反向传播通过微分方程求解器和神经网络，NNFWI引入了隐式的空间正则化，有效缓解了周期性混叠问题，并提升了对噪声的鲁棒性，同时通过蒙特卡洛Dropout实现了不确定性量化——在保持与传统FWI相当性能的同时，显著增强了稳定性与抗噪能力。

ABSTRACT

Full-waveform inversion (FWI) is an accurate imaging approach for modeling velocity structure by minimizing the misfit between recorded and predicted seismic waveforms. However, the strong non-linearity of FWI resulting from fitting oscillatory waveforms can trap the optimization in local minima. We propose a neural-network-based full waveform inversion method (NNFWI) that integrates deep neural networks with FWI by representing the velocity model with a generative neural network. Neural networks can naturally introduce spatial correlations as regularization to the generated velocity model, which suppresses noise in the gradients and mitigates local minima. The velocity model generated by neural networks is input to the same partial differential equation (PDE) solvers used in conventional FWI. The gradients of both the neural networks and PDEs are calculated using automatic differentiation, which back-propagates gradients through the acoustic PDEs and neural network layers to update the weights of the generative neural network. Experiments on 1D velocity models, the Marmousi model, and the 2004 BP model demonstrate that NNFWI can mitigate local minima, especially for imaging high-contrast features like salt bodies, and significantly improves the inversion in the presence of noise. Adding dropout layers to the neural network model also allows analyzing the uncertainty of the inversion results through Monte Carlo dropout. NNFWI opens a new pathway to combine deep learning and FWI for exploiting both the characteristics of deep neural networks and the high accuracy of PDE solvers. Because NNFWI does not require extra training data and optimization loops, it provides an attractive and straightforward alternative to conventional FWI.

研究动机与目标

• 为解决由于振荡波形和周期性混叠导致全波形反演（FWI）中强非线性和局部极小值问题。
• 通过深度生成模型引入隐式正则化，提升FWI在噪声环境及初始模型较差时的鲁棒性。
• 在物理约束的深度学习框架下，利用蒙特卡洛Dropout实现高维速度估计的不确定性量化。
• 开发一种方法，在保持PDE约束优化精度的同时，通过消除预训练或额外优化循环，简化反演流程。

提出的方法

• 使用深度生成神经网络（如带跳跃连接的U-Net）表示速度模型，隐式编码空间相关性并抑制噪声。
• 将神经网络参数化集成到FWI的PDE约束优化框架中，使用与传统FWI相同的声波方程求解器。
• 通过自动微分计算损失函数在PDE求解器和神经网络层的梯度，实现端到端反向传播。
• 直接通过标准优化算法（如L-BFGS、Adam）优化神经网络权重，避免单独训练或迭代重参数化步骤。
• 在推理阶段应用Dropout层，进行蒙特卡洛采样，估计速度模型的预测不确定性。
• 使用与传统FWI相同的原始数据和PDE求解器，确保兼容性并实现直接性能对比。

实验结果

研究问题

• RQ1 深度生成神经网络是否能通过编码空间相关性并降低梯度中的噪声，有效正则化FWI反演过程？
• RQ2 神经网络带来的隐式正则化与传统Tikhonov或总变差正则化相比，在缓解周期性混叠方面表现如何？
• RQ3 在生成网络中应用蒙特卡洛Dropout是否能以无额外计算成本的方式提供可靠的不确定性估计？
• RQ4 NNFWI在高对比度或噪声较大的场景下，是否能实现与传统FWI相当或更优的反演精度？
• RQ5 NNFWI是否可无需预训练或额外优化循环直接部署，成为标准FWI的即插即用替代方案？

主要发现

• NNFWI成功缓解了局部极小值和周期性混叠问题，尤其在成像高对比度构造（如盐丘）时表现优于传统FWI，展现出更强的挑战场景适应能力。
• 生成神经网络带来的深度图像先验作为有效的正则化机制，抑制了梯度中的噪声，提升了收敛稳定性。
• NNFWI在保持与传统FWI相当的反演精度的同时，对地震数据中的噪声表现出显著更强的鲁棒性。
• 蒙特卡洛Dropout提供了可靠的不确定性量化，其预测的标准差在Marmousi和2004年BP模型中均与实际反演误差高度吻合。
• 该方法无需额外训练数据或优化循环，计算效率高，可直接应用于现有FWI工作流。
• Dropout得到的不确定性估计在空间上具有一致性，并与高反演误差区域相关，验证了其作为模型置信度代理的有效性。