[论文解读] Deep Multigrid: learning prolongation and restriction matrices

Alexandr Katrutsa, Talgat Daulbaev+1 more|arXiv (Cornell University)|Nov 10, 2017

Model Reduction and Neural Networks参考文献 24被引用 13

一句话总结

本文提出深度多重网格（DMG），一种将几何多重网格方法形式化为深度神经网络的新方法，通过反向传播优化插值与限制算子。通过使用Gelfand公式对谱半径进行随机逼近并结合自动微分，DMG在1D泊松方程、亥姆霍兹方程及对流-扩散方程上实现了比标准多重网格法和代数多重网格法更快的收敛速度。

ABSTRACT

This paper proposes the method to optimize restriction and prolongation operators in the two-grid method. The proposed method is straightforwardly extended to the geometric multigrid method (GMM). GMM is used in solving discretized partial differential equation (PDE) and based on the restriction and prolongation operators. The operators are crucial for fast convergence of GMM, but they are unknown. To find them we propose a reformulation of the two-grid method in terms of a deep neural network with a specific architecture. This architecture is based on the idea that every operation in the two-grid method can be considered as a layer of a deep neural network. The parameters of layers correspond to the restriction and prolongation operators. Therefore, we state an optimization problem with respect to these operators and get optimal ones through backpropagation approach. To illustrate the performance of the proposed approach, we carry out experiments on the discretized Laplace equation, Helmholtz equation and singularly perturbed convection-diffusion equation and demonstrate that proposed approach gives operators, which lead to faster convergence.

研究动机与目标

• 为解决几何多重网格方法（GMM）中限制与插值算子设计的挑战，这些算子通常依赖手工设计或启发式方法。
• 将两网格法重新表述为具有特定架构的深度神经网络，实现多重网格算子的端到端优化。
• 基于Gelfand公式对谱半径的随机逼近，开发一种可微分损失函数，避免昂贵的特征向量计算。
• 证明所学习的算子在模型偏微分方程上的收敛速度优于标准线性插值和代数多重网格（AMG）。
• 为一种可泛化的、数据驱动的多重网格算子学习方法奠定基础，适用于多种偏微分方程。

提出的方法

• 将两网格多重网格迭代重新表述为深度神经网络，其中每个多重网格操作（平滑、限制、插值、粗网格求解）对应网络中的一个层。
• 将迭代矩阵的谱半径定义为目标函数，但用基于Gelfand公式的随机迹估计器替代，以实现可微性。
• 利用自动微分（通过Autograd）计算谱半径随机逼近相对于限制与插值算子的梯度。
• 使用Adam优化器优化算子，初始值通过同伦延续法获得，以提高收敛至良好局部极小值的性能。
• 在一系列PDE离散化（泊松方程、亥姆霍兹方程、对流-扩散方程）上训练算子，使用固定数量的随机初始向量估计迹。
• 通过在多个网格层级上递归应用所学习的算子，将两网格公式扩展至完整的几何多重网格。

实验结果

研究问题

• RQ1 能否将几何多重网格方法重新诠释为深度神经网络，以实现其关键组件的可微分优化？
• RQ2 能否有效使用基于谱半径的随机可微分逼近来训练限制与插值算子，而无需计算主导特征向量？
• RQ3 所学习的多重网格算子在基准偏微分方程上是否实现比标准线性插值和代数多重网格（AMG）更快的收敛速度？
• RQ4 同伦初始化策略如何改善多重网格算子学习的优化过程？
• RQ5 所学习的算子是否能够在前向传播方式下泛化至不同偏微分方程或系数配置？

主要发现

• 所提出的深度多重网格（DMG）方法成功通过反向传播优化了限制与插值算子，在收敛速度上优于采用线性插值的标准几何多重网格法。
• 在1D泊松方程上，DMG在所有测试网格尺寸（n = 63 至 511）下均将谱半径降低至0.1以下，优于线性方法和AMG方法。
• 在亥姆霍兹方程上，DMG在n = 511时达到约0.05的谱半径，显著低于线性方法，与AMG相当，但实验中收敛更快。
• 在奇异摄动的对流-扩散方程上，DMG表现出更优性能，在高网格分辨率下谱半径仍低于0.05，而线性与AMG方法的值更高。
• 基于Gelfand公式的随机迹估计器实现了高效的梯度计算，使优化过程在大规模系统上仍具可操作性与可扩展性。
• 同伦初始化方法提升了收敛稳定性，有助于避免陷入不良局部极小值，从而实现多重网格算子的可靠训练。