[论文解读] Mitigating spectral bias for the multiscale operator learning

Xinliang Liu, Bo Xu+2 more|arXiv (Cornell University)|Oct 19, 2022

Advanced Mathematical Modeling in Engineering被引用 4

一句话总结

该论文提出了一种新型神经算子架构——分层注意力神经算子（HANO），通过利用具有尺度自适应感受野的分层自注意力机制以及可学习的 $H^1$ 损失函数，有效缓解了多尺度PDE中的谱偏差问题。HANO在学习多尺度解算子方面实现了最先进（SOTA）的精度表现，尤其在高频和导数特征方面，相较于FNO和DeepONet，在Helmholtz方程与Darcy流等具有挑战性的基准测试中，误差降低最高可达60倍。

ABSTRACT

Neural operators have emerged as a powerful tool for learning the mapping between infinite-dimensional parameter and solution spaces of partial differential equations (PDEs). In this work, we focus on multiscale PDEs that have important applications such as reservoir modeling and turbulence prediction. We demonstrate that for such PDEs, the spectral bias towards low-frequency components presents a significant challenge for existing neural operators. To address this challenge, we propose a hierarchical attention neural operator (HANO) inspired by the hierarchical matrix approach. HANO features a scale-adaptive interaction range and self-attentions over a hierarchy of levels, enabling nested feature computation with controllable linear cost and encoding/decoding of multiscale solution space. We also incorporate an empirical $H^1$ loss function to enhance the learning of high-frequency components. Our numerical experiments demonstrate that HANO outperforms state-of-the-art (SOTA) methods for representative multiscale problems.

研究动机与目标

• 为解决现有神经算子中存在的谱偏差问题，该问题倾向于偏好低频分量，导致在高频多尺度特征上的表现不佳。
• 开发一种神经算子，实现跨分层级别对嵌套多尺度特征的高效、可控计算。
• 提升对多尺度PDE（如Helmholtz方程与Darcy方程）中振荡性及导数丰富的解分量的学习能力。
• 通过插值兼容的架构设计，实现网格离散化不变性与零样本超分辨率。
• 通过实证验证，HANO可有效降低谱偏差并提升在多样化多尺度问题上的泛化能力。

提出的方法

• HANO采用分层注意力机制，在多个分辨率层级上分解输入-输出映射关系，实现自适应的尺度交互范围。
• 在每一层级使用自注意力模块聚合局部特征，同时将计算成本控制在与输入大小呈线性关系。
• 模型引入经验性 $H^1$ 损失函数，显式增强对解空间中高频与导数分量的学习能力。
• HANO端到端训练以学习PDE的参数到解的映射关系，其架构设计兼顾高效推理与跨分辨率的泛化能力。
• 通过将线性插值应用于低分辨率训练数据，该方法支持零样本超分辨率，实现无需微调的高分辨率推理。
• 其分层结构模仿多重网格与分层矩阵方法，实现嵌套特征计算，同时控制计算复杂度。

实验结果

研究问题

• RQ1 神经算子架构能否有效缓解多尺度PDE中的谱偏差问题，特别是在高频与导数特征方面？
• RQ2 具有尺度自适应感受野的分层注意力机制在多尺度算子学习中如何提升学习效率与准确性？
• RQ3 H^1$ 损失函数在多大程度上增强了模型捕捉振荡性与细尺度解分量的能力？
• RQ4 HANO能否在无需高分辨率训练数据的前提下，实现网格离散化不变性与零样本超分辨率？
• RQ5 在具有挑战性的多尺度基准测试中，HANO相较于FNO与DeepONet等最先进方法，在精度、泛化能力与推理速度方面表现如何？

主要发现

• 在Helmholtz方程基准测试中，HANO将 $L^2$ 相对误差降低至 0.687×10⁻²，优于FNO（2.301×10⁻²）与UNet（42.90×10⁻²）。
• 在Darcy粗糙基准测试中，HANO实现相对 $L^2$ 误差为 0.58×10⁻²，GPU推理时间仅 0.003s，优于FDM（0.84×10⁻²，0.34s）与GRPS（0.02×10⁻²，18.9s）。
• HANO在捕捉解的导数与高频分量方面表现更优，谱误差分析显示FNO存在显著的谱偏差。
• 该模型实现了零样本超分辨率，在测试时使用高于训练阶段分辨率的数据仍保持稳定性能，优于FNO。
• HANO在未见的多尺度问题上泛化能力更强，且在不同波速与系数条件下均保持低误差，表明其对输入变化具有鲁棒性。
• $H^1$ 损失函数显著提升了对振荡特征的学习能力，相较于标准 $L^2$ 损失，其在导数近似误差方面表现更优。