[论文解读] A multiscale neural network based on hierarchical matrices

Yuwei Fan, Lin Lin+2 more|arXiv (Cornell University)|Jul 5, 2018

Neural Networks and Applications参考文献 61被引用 23

一句话总结

本文提出了一种受层级矩阵（$\mathcal{H}$-矩阵）启发的多尺度神经网络（MNN），以高效逼近偏微分方程和积分方程中的非线性映射。通过在多个空间尺度上用深层非线性网络替代线性核运算，MNN 实现了 $O(N\log N)$ 的复杂度，并在训练数据有限的情况下，对非线性薛定谔方程和 Kohn-Sham 电子结构理论等挑战性非线性映射实现了 $10^{-4}$ 至 $10^{-3}$ 的相对误差。

ABSTRACT

In this work we introduce a new multiscale artificial neural network based on the structure of $\mathcal{H}$-matrices. This network generalizes the latter to the nonlinear case by introducing a local deep neural network at each spatial scale. Numerical results indicate that the network is able to efficiently approximate discrete nonlinear maps obtained from discretized nonlinear partial differential equations, such as those arising from nonlinear Schrödinger equations and the Kohn-Sham density functional theory.

研究动机与目标

• 为解决从 PDE 和积分方程中逼近非线性解映射时计算成本过高的问题，特别是当全局参数化需要大量参数时。
• 将适用于线性问题的层级矩阵框架扩展至非线性领域，利用深度神经网络实现。
• 开发一种参数高效的架构，利用多尺度结构与层级压缩技术处理非线性算子。
• 在高度非线性的映射（如非线性薛定谔方程和 Kohn-Sham 映射）上验证该方法的有效性。
• 表明即使训练数据有限，网络仍具有良好的泛化能力，且极少出现过拟合。

提出的方法

• 该方法将 $\mathcal{H}$-矩阵运算重新表述为包含三个组件的神经网络：限制（LCR）、核（LCK）和插值（LCI）网络，每个组件在不同空间尺度上运行。
• LCK 网络被替换为具有激活函数的深层非线性多层网络，以建模非线性映射，而 LCR 和 LCI 保持线性，用于降维与重构。
• 网络结构以分层方式构建：粗尺度表示通过非线性核处理后，再插值回细尺度，所有尺度上的贡献在最终结果中求和。
• 该架构支持局部连接（LC）和卷积神经网络（CNN）两种形式，具体取决于映射是否具有平移不变性。
• 该方法采用算子的多尺度分解，其中近场贡献通过对角矩阵单独处理，远场相互作用则通过层级低秩结构进行压缩。
• 网络通过端到端训练来逼近解映射 $u = \mathcal{M}(v)$，损失函数在来自底层 PDE 或 IE 的输入-输出对数据集上最小化。

实验结果

研究问题

• RQ1 能否通过深度神经网络将层级矩阵结构推广至非线性算子，同时保持低复杂度？
• RQ2 基于 $\mathcal{H}$-矩阵的多尺度神经网络架构是否能在参数数量较少的情况下，对高度非线性的 PDE 和 IE 解映射实现高精度？
• RQ3 所提出的 MNN 架构在训练样本有限的情况下，是否对未见数据具有良好的泛化能力？
• RQ4 网络性能如何随问题规模扩展？是否能在大规模问题中实现 $O(N\log N)$ 复杂度？
• RQ5 该架构能否适应不同类型算子，如具有振荡性或非周期性行为的算子？

主要发现

• 对于 $K=6$ 的二维 Kohn-Sham 映射，MNN 在 16,000 个训练样本和 4,000 个测试样本下，实现了 $1.2 \times 10^{-3}$ 至 $9.1 \times 10^{-4}$ 的相对逼近误差。
• 在非线性薛定谔方程上，网络实现了 $10^{-4}$ 至 $10^{-3}$ 的相对误差，表明其在高度非线性映射上具有高精度。
• 在不同秩参数 $r$ 下，训练误差与验证误差保持一致，表明尽管训练数据有限，也未出现过拟合。
• MNN 的计算复杂度呈 $O(N\log N)$ 规律，使其在需要重复评估的大规模问题中依然高效。
• 网络在不同参数区间间表现出良好泛化能力，表明对输入参数变化具有鲁棒性。
• 该架构具有灵活性，可扩展至非周期性区域、混合 LC/CNN 组件，以及其他层级矩阵结构（如 $\mathcal{H}^2$-矩阵或小波结构）。