[论文解读] Depth separation for reduced deep networks in nonlinear model reduction: Distilling shock waves in nonlinear hyperbolic problems

Donsub Rim, Luca Venturi+2 more|arXiv (Cornell University)|Jul 28, 2020

Model Reduction and Neural Networks参考文献 65被引用 11

一句话总结

本文提出简化深度网络（RDNs），一种广义经典参数化双曲PDE简化模型的深度神经网络架构。与经典模型相比，RDNs 实现了指数级更快的误差衰减——误差为 $\varepsilon$ 时仅需 $\mathcal{O}(|\log \varepsilon|)$ 个自由度，而经典模型因 Kolmogorov $N$-宽度下界导致逼近率呈指数级恶化，尤其在激波波前区域表现更差。

ABSTRACT

Classical reduced models are low-rank approximations using a fixed basis designed to achieve dimensionality reduction of large-scale systems. In this work, we introduce reduced deep networks, a generalization of classical reduced models formulated as deep neural networks. We prove depth separation results showing that reduced deep networks approximate solutions of parametrized hyperbolic partial differential equations with approximation error $ε$ with $\mathcal{O}(|\log(ε)|)$ degrees of freedom, even in the nonlinear setting where solutions exhibit shock waves. We also show that classical reduced models achieve exponentially worse approximation rates by establishing lower bounds on the relevant Kolmogorov $N$-widths.

研究动机与目标

• 为克服经典简化模型在逼近参数化双曲PDE解流形（尤其含激波特性的）方面的局限性。
• 通过证明深度架构可实现远优于浅层架构的指数级更好逼近率，为简化模型中的深度分离建立理论基础。
• 证明经典简化模型由于固有的 Kolmogorov $N$-宽度下界，在非线性双曲问题中存在根本性的精度限制。
• 通过在流形逼近通过传输子空间（MATS）框架中引入具有低秩结构的附加隐藏层，实现其推广，以处理奇异特征曲线。
• 证明RDNs在保持计算效率的同时，能够实现对复杂非线性解流形的高精度逼近。

提出的方法

• 提出简化深度网络（RDNs），作为多层隐藏层中低秩表示的复合结构，广义化经典简化模型。
• 采用基于二分法的神经网络构造方法，以实现函数的反演和预像逼近，从而精确确定解流形中激波特性的位置。
• 构建一个具有 $L+4$ 层的神经网络 $g_f$，通过迭代方式缩小函数 $f$ 的预像，实现 $|f^{-1}(x) - y_*| \leq |\Omega|2^{-L}$。
• 利用特征线方法的半群性质，推导解映射导数的传输常微分方程（ODE），确保变换的解析性。
• 通过证明RDNs在误差 $\varepsilon$ 下仅需 $\mathcal{O}(|\log \varepsilon|)$ 个自由度，而经典模型因 $N$-宽度下界需指数级更多的自由度，从而建立深度分离结果。
• 利用 Kolmogorov $N$-宽度建立经典模型复杂度的下界，证明其在急剧对流函数类上的低效性。

实验结果

研究问题

• RQ1 深度神经网络能否在具有激波的参数化双曲PDE上实现显著优于经典简化模型的逼近率？
• RQ2 经典简化模型逼近非线性双曲PDE解流形所需的最少自由度数是多少？
• RQ3 神经网络架构的深度如何影响其对具有间断或陡峭梯度的解流形的表示能力？
• RQ4 能否构建一种深度网络架构，使其在各层保持低秩结构，同时实现对非线性、激波形成解的高效且精确逼近？
• RQ5 解流形的 Kolmogorov $N$-宽度在多大程度上限制了经典简化模型在双曲问题中的性能？

主要发现

• 简化深度网络（RDNs）在逼近误差为 $\varepsilon$ 时仅需 $\mathcal{O}(|\log \varepsilon|)$ 个自由度，展现出相对于模型复杂度的指数级收敛性。
• 经典简化模型因 Kolmogorov $N$-宽度的下界而面临指数级更差的逼近率，且该下界随 $\varepsilon$ 减小而指数增长。
• 本文建立了深度分离结果：RDNs 能够逼近含激波的非线性双曲PDE（如Burgers方程）的解流形，而经典模型无法高效实现。
• 通过深度网络中基于二分法的反向逼近构造，即使在存在不连续性时，也能精确定位激波特性的位置。
• 颜色方程与Burgers方程的解流形属于‘急剧对流’函数类，经典简化模型在该类上被证明是次优的。
• 理论框架通过引入具有低秩结构的附加隐藏层，推广了MATS，从而能够稳健逼近奇异特征曲线。