[论文解读] A Phase Shift Deep Neural Network for High Frequency Approximation and Wave Problems

Wei Cai, Xiaoguang Li+1 more|arXiv (Cornell University)|Sep 23, 2019

Model Reduction and Neural Networks参考文献 11被引用 7

一句话总结

本文提出相位偏移深度神经网络（PhaseDNN），一种新型架构，通过在频域中利用相位偏移，实现对高频函数和波解的统一宽带收敛。通过将高频分量转换至低频范围，PhaseDNN 使标准 DNN 能够高效学习振荡函数，在极少训练迭代下即可准确逼近非均匀介质中亥姆霍兹方程的解。

ABSTRACT

In this paper, we propose a phase shift deep neural network (PhaseDNN), which provides a uniform wideband convergence in approximating high frequency functions and solutions of wave equations. The PhaseDNN makes use of the fact that common DNNs often achieve convergence in the low frequency range first, and a series of moderately-sized DNNs are constructed and trained for selected high frequency ranges. With the help of phase shifts in the frequency domain, each of the DNNs will be trained to approximate the function's higher frequency content over a specific range at the the speed of convergence as in the low frequency range. As a result, the proposed PhaseDNN is able to convert high frequency learning to low frequency one, allowing a uniform learning to wideband functions. The PhaseDNN will then be applied to find the solution of high frequency wave equations in inhomogeneous media through both differential and integral equation formulations with least square residual loss functions. Numerical results have demonstrated the capability of the PhaseDNN in learning high frequency functions and oscillatory solutions of interior and exterior Helmholtz equations.

研究动机与目标

• 解决深度神经网络（DNN）在逼近高频函数和振荡波解时收敛性差的挑战。
• 克服标准 DNN 频率依赖的收敛行为，其在训练过程中优先学习低频分量。
• 开发一种 DNN 架构，能够在所有频率范围内均匀学习宽带函数。
• 通过最小二乘残差最小化方法，实现对非均匀介质中高频波方程的高效求解。

提出的方法

• PhaseDNN 利用频域中的相位偏移，将高频内容转换至 DNN 收敛迅速的低频范围。
• 并行 PhaseDNN 架构将训练数据分解为频率带，应用相位偏移，并在每个偏移后的频带中分别训练 DNN。
• 提出一种耦合式 PhaseDNN 公式，通过将相位偏移直接嵌入网络结构中，避免昂贵的频率分解。
• 该方法采用最小二乘残差损失函数，求解亥姆霍兹方程的微分与积分形式。
• 理论分析表明，当相位偏移参数 η 趋近于零时，DNN 之间的跨频带干扰逐渐减弱。
• 损失函数被近似为各偏移频带上的独立损失之和，从而实现对低频变换函数的 DNN 独立训练。

实验结果

研究问题

• RQ1 频域中的相位偏移能否将高频学习转化为低频学习，从而实现在所有频率范围内的统一收敛？
• RQ2 如何设计 DNN 结构，使其在无需过多训练周期的情况下，仍能对高频分量保持快速收敛？
• RQ3 相位偏移参数对求解波方程时的近似误差与收敛行为有何影响？
• RQ4 耦合式 PhaseDNN 公式能否避免频率分解的计算开销，同时保持精度？
• RQ5 PhaseDNN 在逼近亥姆霍兹方程高度振荡解方面，相较于标准 DNN 的性能提升程度如何？

主要发现

• 通过相位偏移将高频分量转换至低频范围，PhaseDNN 实现了统一的宽带收敛，使所有频率带均可实现快速学习。
• 数值结果表明，PhaseDNN 能够准确逼近高频函数以及内部与外部亥姆霍兹方程的振荡解。
• 耦合式 PhaseDNN 公式避免了昂贵的频率分解，使其在高维问题中具备可扩展性。
• 理论分析证实，当相位偏移参数 η 趋近于零时，DNN 之间的跨频带干扰逐渐减弱。
• 损失函数近似表明，总损失可简化为各偏移频带上的独立损失之和，验证了解耦策略的有效性。
• 该方法能够高效求解非均匀介质中具有高振荡特性的波方程，在收敛速度与精度方面均优于标准 DNN。