[论文解读] Compositional Sparsity, Approximation Classes, and Parametric Transport Equations

Wolfgang Dahmen|arXiv (Cornell University)|Jul 13, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出了一种基于组合稀疏性的高维逼近新框架，表明通过利用解流形中的结构性稀疏性，深度神经网络可在参数化输运方程中避免维度灾难。关键结果表明，在组合稀疏性假设下，DNN逼近具有与维度无关的收敛速率，证明了问题数据中的稀疏性可被解继承，并给出了可量化的误差界。

ABSTRACT

Approximating functions of a large number of variables poses particular challenges often subsumed under the term ``Curse of Dimensionality'' (CoD). Unless the approximated function exhibits a very high level of smoothness the CoD can be avoided only by exploiting some typically hidden {\em structural sparsity}. In this paper we propose a general framework for new model classes of functions in high dimensions. They are based on suitable notions of {\em compositional dimension-sparsity} quantifying, on a continuous level, approximability by compositions with certain structural properties. In particular, this describes scenarios where deep neural networks can avoid the CoD. The relevance of these concepts is demonstrated for {\em solution manifolds} of parametric transport equations. For such PDEs parameter-to-solution maps do not enjoy the type of high order regularity that helps to avoid the CoD by more conventional methods in other model scenarios. Compositional sparsity is shown to serve as the key mechanism forn proving that sparsity of problem data is inherited in a quantifiable way by the solution manifold. In particular, one obtains convergence rates for deep neural network realizations showing that the CoD is indeed avoided.

研究动机与目标

• 为解决高维函数逼近中的维度灾难问题，特别是针对光滑性有限的参数化PDE。
• 提出一种基于组合维度稀疏性的新函数模型类，以捕捉高维映射中的结构性稀疏性。
• 证明深度神经网络可在参数化输运方程的解流形上实现与维度无关的逼近速率。
• 通过组合逼近建立问题数据稀疏性与解流形稀疏性之间的理论联系。

提出的方法

• 引入连续层次上的组合维度稀疏性概念，以通过结构化组合量化逼近能力。
• 应用受控的组合技术，在深层网络架构中建模具有可控复杂度的非线性映射。
• 利用非线性宽度和逼近类来表征深层网络在高维设置下的表达能力。
• 通过递归网络构建推导误差界，利用稳定性和组合范数控制。
• 通过分析网络规模与逼近容差及问题参数的关系，建立收敛速率。
• 采用对数和指数增长函数以控制网络复杂度，同时考虑参数维数和空间维数。

实验结果

研究问题

• RQ1 组合稀疏性能否作为避免高维参数化PDE中维度灾难的机制？
• RQ2 在参数化输运方程中，问题数据中的稀疏性（如初值、系数）如何传播至解流形？
• RQ3 在组合稀疏性下，深度神经网络逼近解流形的可实现收敛速率为何？
• RQ4 深层网络在多大程度上继承了底层问题结构的稳定性和逼近性质？
• RQ5 当经典光滑性假设不成立时，该框架是否仍能实现与维度无关的逼近速率？

主要发现

• 在组合稀疏性下，深度神经网络对参数化输运方程实现了与维度无关的收敛速率，避免了维度灾难。
• 解流形继承了问题数据的稀疏性，误差界通过包含参数维数和空间维数的增长函数进行量化。
• 网络规模满足 $\phi(Me^{L\widehat{T}}/\varepsilon) \sim \max\{M^{\frac{(α+1)m+1}{\alpha}}, d_y\}(Me^{L\widehat{T}}/\varepsilon)^{m+1+\beta}|\log_2(e^{L\widehat{T}}/\varepsilon)|^2$，确保高效逼近。
• 网络逼近的组合范数被统一有界于 $Me^{L\widehat{T}}$，保证了组合下的稳定性。
• 收敛速率 $\varepsilon \sim \tilde{\varepsilon}$ 可通过网络规模在 $\varepsilon^{-1}$ 上的多项式增长（含对数因子）实现。
• 该框架在经典光滑性方法失效时仍适用，展示了在低正则性区域的鲁棒性。