[论文解读] Seismic Full-Waveform Inversion Using Deep Learning Tools and Techniques

Alan Richardson|arXiv (Cornell University)|Jan 22, 2018

Seismic Imaging and Inversion Techniques参考文献 3被引用 46

一句话总结

{

ABSTRACT

I demonstrate that the conventional seismic full-waveform inversion algorithm can be constructed as a recurrent neural network and so implemented using deep learning software such as TensorFlow. Applying another deep learning concept, the Adam optimizer with minibatches of data, produces quicker convergence toward the true wave speed model on a 2D dataset than Stochastic Gradient Descent and than the L-BFGS-B optimizer with the cost function and gradient computed using the entire training dataset. I also show that the cost function gradient calculation using reverse-mode automatic differentiation is the same as that used in the adjoint state method.

研究动机与目标

• 通过在深度学习软件中将 FWI 表达为实现于 DNN/RNN 的方式，推动将深度学习与传统 FWI 相结合。
• 证明深度学习中的自动微分梯度与 FWI 中的伴随状态梯度一致。
• 在基于 SEAM 的 2D 模型上将 minibatch 优化算法（Adam 和 SGD）与 L-BFGS-B 进行比较，以评估收敛速度和精度。
• 评估在 FWI 中使用 DL 工具的实际考虑因素，包括内存需求和开发数据集需求。

提出的方法

• 将波动方程的正向建模表示为一个 RNN，其中每个单元推进有限差分方案的一个时间步。
• 在 RNN 框架内使用带有限差分核的卷积来实现空间导数。
• 通过自动微分计算梯度并将其与伴随状态方法相关联（附录 A）。
• 在基于 SEAM 的 2D 数据集上比较 Adam、SGD（带小批量）和 L-BFGS-B 优化器，以评估收敛速度和稳定性。
• 保留一个开发数据集，用于使用基于 SEAM 的模型调优超参数（如批量大小和学习率）。
• 讨论自动微分与伴随状态梯度计算在内存方面的考虑。

实验结果

研究问题

• RQ1 是否可以使用深度学习软件将 FWI 表述为一个循环神经网络并执行？
• RQ2 在针对波速更新的 FWI 中，自动微分梯度与伴随状态梯度有何比较？
• RQ3 在基于 DL 的 FWI 中，小批量优化器（Adam、SGD）是否比全批量的 L-BFGS-B 提供更快且更稳定的收敛？
• RQ4 在将 DL 工具应用于 FWI 时，有哪些实际注意事项（内存、超参数调优）？

主要发现

• FWI 可以使用像 TensorFlow 这样的 DL 软件实现为 RNN，从而实现正向建模和梯度计算。
• 自动微分得到的梯度与来自伴随状态方法的梯度高度一致，边缘存在较小偏差。
• 在基于 SEAM 的 2D 数据集上，带小批量的 Adam 收敛得更快且更稳定，通常在较少的评估后就接近真模型。
• 用于超参数调优的开发数据提升了对未见数据的收敛性和泛化性。
• 与 SGD 相比，Adam 实现更快的收敛并产生更接近真模型的模型；L-BFGS-B 收敛更慢且更新的模型数量较少。