[论文解读] Some observations on high-dimensional partial differential equations with Barron data

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|Dec 2, 2020

Model Reduction and Neural Networks参考文献 27被引用 13

一句话总结

该论文证明，当高维PDE的方程数据属于Barron或树状函数空间时，其解也属于此类函数空间，从而实现了高效的神经网络近似。反之，论文表明即使边界数据为Barron函数，某些调和函数也可能不属于Barron或树状函数空间，揭示了将经典正则性理论推广至神经网络函数空间时的根本局限性。

ABSTRACT

We use explicit representation formulas to show that solutions to certain partial differential equations lie in Barron spaces or multilayer spaces if the PDE data lie in such function spaces. Consequently, these solutions can be represented efficiently using artificial neural networks, even in high dimension. Conversely, we present examples in which the solution fails to lie in the function space associated to a neural network under consideration.

研究动机与目标

• 研究当PDE方程数据属于Barron或树状函数空间时，其解是否继承这些低复杂度结构。
• 评估基于神经网络函数空间而非经典光滑性空间，发展现代PDE正则性理论的可行性。
• 识别将经典PDE正则性理论推广至基于神经网络的函数空间时的根本障碍，特别是在有界区域中。
• 证明并非所有具有Barron数据的PDE解本身也属于Barron或树状函数空间，从而挑战了神经网络与PDE求解器兼容性的既定假设。
• 通过阐明当数据与解均位于同一低复杂度函数空间时，收敛速率与维度无关，澄清其对基于机器学习的PDE求解器的启示，表明此类问题可能构成不公平的基准测试。

提出的方法

• 使用显式表示公式（例如，与基本解的卷积）分析整个空间中筛分泊松方程、热方程和粘性哈密顿-雅可比方程解的正则性。
• 应用已知的Barron与树状函数空间表征，验证在特定条件下，解可继承数据的函数空间隶属关系。
• 在有界区域构造反例——具体为具有Barron边界数据的调和函数，但其本身并非Barron或树状函数，以证明正则性传播的失败。
• 分析Barron函数奇异集的几何结构，表明其在ℝ²中为可数个点与直线的并集，即使函数在局部属于此类空间，也无法保证全局Barron隶属关系。
• 比较经典函数空间（如C²,α、Sobolev空间）与Barron空间在非线性运算（如复合与坐标变换）下的行为，揭示根本性不相容性。
• 通过域分解与局部分析表明，Barron性质无法以与经典光滑性相同的方式实现局部化，如通过一个U形区域中分段ReLU函数的实例所展示。

实验结果

研究问题

• RQ1 在何种条件下，具有Barron数据的高维PDE解也属于Barron或树状函数空间？
• RQ2 经典正则性理论能否推广至由深度神经网络定义的函数空间，特别是在有界区域中？
• RQ3 Barron性质局部化的根本障碍是什么？其与经典函数空间局部化的差异何在？
• RQ4 非线性运算（如复合、坐标变换）在多大程度上保持Barron或树状结构？这如何影响PDE的正则性？
• RQ5 为何具有Barron数据的PDE不构成通用PDE求解器的公平基准？这对基于机器学习的求解器有何启示？

主要发现

• 在ℝᵈ上，具有Barron数据的筛分泊松方程的解属于Barron空间，且可通过两层ReLU网络以与维度无关的收敛速率进行近似。
• 在ℝᵈ上，具有Barron数据的热方程的解也属于Barron空间，证实时间演化在此设定下保持了低复杂度结构。
• 在ℝᵈ上，具有Barron数据的粘性哈密顿-雅可比方程的解属于深度为四的树状函数空间，表明某些非线性PDE需要更深的网络结构。
• 在有界区域中，具有Barron边界数据的调和函数可能不属于任何Barron或树状函数空间，如在U形区域上使用分段ReLU函数构造的反例所示。
• ℝ²中Barron函数的奇异集为可数个点与直线的并集，即使函数在局部属于此类空间，也无法保证其全局Barron隶属关系。
• Barron空间在非线性微分同胚下不保持不变，且Barron函数的复合结果不一定是Barron函数，这与经典光滑函数空间不同，从而削弱了在此类设定下使用标准PDE技术的可行性。