[论文解读] Implicit bias with Ritz-Galerkin method in understanding deep learning for solving PDEs

Jihong Wang, Zhi‐Qin John Xu+2 more|arXiv (Cornell University)|Feb 19, 2020

Model Reduction and Neural Networks参考文献 22被引用 4

一句话总结

本文研究了深度神经网络（DNNs）与Ritz-Galerkin（R-G）方法在仅已知源项 $f$ 的有限采样点时求解Poisson方程的隐式偏差。R-G方法产生的解具有低正则性（例如分段线性或奇异函数），而DNNs则由于频率原理（Frequency Principle）隐式偏好光滑、低频的解，即使在过参数化条件下也是如此。这种对比揭示了DNNs中一种关键的归纳偏差，使其在数据稀缺环境下能够产生稳定且可泛化的解。

ABSTRACT

This paper aims at studying the difference between Ritz-Galerkin (R-G) method and deep neural network (DNN) method in solving partial differential equations (PDEs) to better understand deep learning. To this end, we consider solving a particular Poisson problem, where the information of the right-hand side of the equation f is only available at n sample points, that is, f is known at finite sample points. Through both theoretical and numerical studies, we show that solution of the R-G method converges to a piecewise linear function for the one dimensional (1D) problem or functions of lower regularity for high dimensional problems. With the same setting, DNNs however learn a relative smooth solution regardless of the dimension, this is, DNNs implicitly bias towards functions with more low-frequency components among all functions that can fit the equation at available data points. This bias is explained by the recent study of frequency principle (Xu et al., (2019) [17] and Zhang et al., (2019) [11, 19]). In addition to the similarity between the traditional numerical methods and DNNs in the approximation perspective, our work shows that the implicit bias in the learning process, which is different from traditional numerical methods, could help better understand the characteristics of DNNs.

研究动机与目标

• 理解在仅已知源项 $f$ 的有限采样点时，DNNs与传统Ritz-Galerkin（R-G）方法在求解PDE时解行为的根本差异。
• 研究DNNs的隐式归纳偏差（特别是对低频分量的偏好）如何影响其解，相较于R-G方法。
• 分析随着基函数或神经元数量的增加，两种方法解的正则性与稳定性。
• 将观察到的DNN行为与频率原理（F-Principle）联系起来，解释为何DNNs在数据稀疏时仍偏好光滑插值。
• 证明DNNs即使在高维或过参数化设置下，也能产生行为良好、稳定的解，而R-G方法则表现出奇异性。

提出的方法

• 构建具有Dirichlet边界条件的一维和二维Poisson问题，其中源函数 $f$ 仅在 $n$ 个离散采样点处已知。
• 通过将采样的 $f$ 视为Dirac delta函数的线性组合，应用Ritz-Galerkin方法，建立最小化能量的变分公式，以基函数为变量。
• 使用具有ReLU或正弦激活函数的深度神经网络，通过梯度下降最小化等价于PDE弱形式的损失函数。
• 利用傅里叶分析分析解的频率成分，特别关注在最小化 $\int \|\bm{\xi}\|^{-2}|\mathcal{F}[h](\bm{\xi})|^{2} d\bm{\xi}$ 时系数函数 $\Gamma(\bm{\xi})$ 的行为。
• 结合理论分析与数值实验，比较基函数或神经元数量增加时，两种方法解的正则性与稳定性。
• 依赖频率原理（F-Principle）解释为何DNNs优先拟合低频分量，从而导致更平滑的解。

实验结果

研究问题

• RQ1 当仅已知源项的有限采样点时，Ritz-Galerkin方法与DNN方法在解的正则性方面有何不同？
• RQ2 为何在相同的数据约束下，DNN方法产生的解比R-G方法更平滑？
• RQ3 频率原理在塑造DNNs对PDE求解中低频分量的归纳偏差方面起到什么作用？
• RQ4 增加基函数或神经元数量如何影响R-G方法与DNN方法解的稳定性与正则性？
• RQ5 DNNs的隐式偏差能否与PDE求解中优化景观的结构建立理论联系？

主要发现

• 在一维问题中，无论基函数类型如何，随着基函数数量的增加，R-G方法收敛到分段线性函数。
• 在二维问题中，随着基函数数量的增加，R-G方法在采样点处产生强烈的奇异性。
• DNN解在所有测试设置下均保持平滑且稳定，即使神经元数量极大，也未表现出奇异性。
• DNN方法隐式偏向具有更多低频分量的函数，这由频率原理解释，从而实现对稀疏数据的更平滑插值。
• 理论分析表明，由于自适应基函数与梯度下降动力学的共同作用，DNN的优化目标比R-G方法更偏好平滑函数。
• 数值结果证实，在数据稀缺条件下，DNNs在解的稳定性和正则性方面优于R-G方法，尤其在高维或过参数化情形下。