[论文解读] SwitchNet: a neural network model for forward and inverse scattering problems

Yuehaw Khoo, Lexing Ying|arXiv (Cornell University)|Oct 23, 2018

Geophysical Methods and Applications参考文献 16被引用 9

一句话总结

SwitchNet 是一种新颖的神经网络架构，通过利用低秩、稀疏的切换层替代全连接连接，高效学习亥姆霍兹方程的前向和反向散射映射，显著减少参数量的同时在从散射场重建散射体以及反之亦然的任务中保持高精度。

ABSTRACT

We propose a novel neural network architecture, SwitchNet, for solving the wave equation based inverse scattering problems via providing maps between the scatterers and the scattered field (and vice versa). The main difficulty of using a neural network for this problem is that a scatterer has a global impact on the scattered wave field, rendering typical convolutional neural network with local connections inapplicable. While it is possible to deal with such a problem using a fully connected network, the number of parameters grows quadratically with the size of the input and output data. By leveraging the inherent low-rank structure of the scattering problems and introducing a novel switching layer with sparse connections, the SwitchNet architecture uses much fewer parameters and facilitates the training process. Numerical experiments show promising accuracy in learning the forward and inverse maps between the scatterers and the scattered wave field.

研究动机与目标

• 解决反向散射问题中散射体与散射波场之间全局非局部映射的学习挑战。
• 克服标准卷积网络依赖局部连接、无法捕捉长程波传播效应的局限性。
• 通过利用散射算子中的低秩结构，减少全连接网络的参数量（通常与输入大小的平方成正比）。
• 设计一种可训练的稀疏切换层，实现在保持计算效率的同时实现全局信息流动。
• 实现时间谐和平面声学散射中前向（$\eta \rightarrow d$）与反向（$d \rightarrow \eta$）映射的端到端学习。

提出的方法

• 引入一种新颖的切换层，实现输入与输出特征之间的全局稀疏连接，受蝴蝶分解的启发。
• 使用散射算子的低秩近似，将切换层的复杂度从 $O(N^2)$ 降低至 $O(N \log N)$。
• 设计双分支架构：一个用于反向映射（$d \rightarrow \eta$），一个用于前向映射（$\eta \rightarrow d$），共享部分组件。
• 引入逐点乘法（PM）层以建模频率相关的缩放，提升模型的表征能力。
• 在前向与反向网络中均应用一系列具有可学习滤波器的卷积层，以提取分层特征。
• 通过向量化与重塑操作在切换层与卷积模块之间建立接口，确保维度一致性。

实验结果

研究问题

• RQ1 深度神经网络架构能否有效学习时间谐和平面声学散射中散射体与散射波场之间的前向与反向映射？
• RQ2 如何设计神经网络架构以处理散射体对散射场产生的全局影响，该影响违背了局部连接的假设？
• RQ3 通过利用散射算子中的低秩结构，全连接网络的参数量最多可减少多少？
• RQ4 可训练的稀疏切换层是否能替代反向散射问题中的全连接层，同时保持精度并降低训练成本？
• RQ5 所提出的 SwitchNet 在地震成像与远场散射模式重建中，对不同散射体构型与噪声水平的泛化能力如何？

主要发现

• 在地震成像设置中，对于 $n_s = 3$ 个散射体，SwitchNet 的前向映射预测误差为 7.7e-02（相对误差）。
• 对于 $n_s = 3$，反向映射的测试误差为 2.2e-02，表明在从散射数据重建散射体方面具有出色的泛化能力。
• 当 $n_s = 4$ 个散射体时，反向映射误差上升至 5.1e-02，表明复杂度增加导致性能中等程度下降，但仍处于可接受范围。
• 图 7 的可视化对比显示，即使在复杂构型下，SwitchNet 也能准确重建散射场与散射体分布。
• 该模型仅使用 290 万个参数，远少于全连接网络，得益于稀疏切换层与低秩结构。
• 该架构成功捕捉高度振荡的波场，并实现无需迭代求解偏微分方程的端到端学习，为传统反向散射方法提供了快速替代方案。