[论文解读] Characterization of the Variation Spaces Corresponding to Shallow Neural Networks

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|Jun 28, 2021

Model Reduction and Neural Networks参考文献 12被引用 9

一句话总结

该论文证明了浅层神经网络近似中的三个关键函数空间——Barron空间、谱Barron空间和Radon变差有界（BV）空间——等价于通过特定神经网络词典的凸包定义的变差空间。论文进一步证明，这些空间自然地构成基于ReLU激活函数的对称闭凸包，从而通过泛函分析与Radon变换对偶性，为浅层网络的泛化与逼近提供了统一的理论框架。

ABSTRACT

We study the variation space corresponding to a dictionary of functions in $L^2(Ω)$ for a bounded domain $Ω\subset \mathbb{R}^d$. Specifically, we compare the variation space, which is defined in terms of a convex hull with related notions based on integral representations. This allows us to show that three important notions relating to the approximation theory of shallow neural networks, the Barron space, the spectral Barron space, and the Radon BV space, are actually variation spaces with respect to certain natural dictionaries.

研究动机与目标

• 在单一泛函分析框架内统一并表征浅层神经网络理论中三个突出的逼近空间——Barron空间、谱Barron空间和Radon BV空间。
• 建立这些空间与基于ReLU函数词典的闭对称凸包所定义的变差空间之间的等价性。
• 证明变差范数对应于函数积分表示中带符号测度的总变差。
• 证明在所定义范数下，变差空间是巴拿赫空间，确保理论上的鲁棒性。
• 探讨该表征在逼近理论、度量熵和n-宽度方面对神经网络函数空间的影响。

提出的方法

• 通过Minkowski泛函，在 $ L^2(\bar{\rho}) $ 中将变差范数定义为词典的闭对称凸包的支撑函数。
• 分析ReLU-k函数 $ \sigma_k(\omega \cdot x + b) $ 的词典 $ \bb{P}_k $，其中 $ \omega \in S^{d-1} $，$ b \in [c_1, c_2] $，并将其与Barron空间和Radon BV空间关联。
• 利用Radon变换与Plancherel定理，将函数扩展的傅里叶变换的 $ L^2 $-范数与测度的总变差联系起来。
• 应用Hahn-Banach定理与Riesz-Markov定理，将 $ C_c^\infty $ 上的有界线性泛函延拓为博雷尔测度，从而证明变差空间中单位球的闭性。
• 通过对偶性与延拓定理，证明变差空间的单位球等于词典的闭凸包。
• 通过积分表示证明，变差范数等于表示函数的带符号测度的总变差的下确界。

实验结果

研究问题

• RQ1 Barron空间、谱Barron空间与Radon BV空间是否等价于通过神经网络词典凸包定义的变差空间？
• RQ2 浅层网络的变差范数能否表征为积分表示中带符号测度的总变差？
• RQ3 在变差范数下，变差空间 $ \mathcal{K}(\bb{D}) $ 是否为巴拿赫空间？
• RQ4 变差空间的单位球是否对应于词典 $ \bb{P}_k $ 的闭对称凸包？
• RQ5 能否利用 $ L^2 $ 函数在有界区域上的傅里叶变换与Radon变换对偶性来表征变差空间？

主要发现

• Barron空间、谱Barron空间与Radon BV空间均等价于ReLU-k函数词典 $ \bb{P}_k $ 的变差空间 $ \mathcal{K}(\bb{D}) $。
• 变差范数 $ \|f\|_{\bb{D}} $ 等于所有满足 $ f(x) = \int_{\bb{F}_s} i_{\bb{F}_s \to L^2(\Omega)}(\xi) d\mu(\xi) + c $ 的带符号博雷尔测度 $ \mu $ 的总变差的下确界，其中 $ \bb{F}_s $ 为复指数函数词典。
• 变差空间的单位球等于 $ \overline{\text{conv}(\pm \bb{P}_k)} $，从而证明变差空间是词典的闭对称凸包。
• 当 $ s=0 $ 时，单位球 $ B_e(\Omega) $ 在 $ L^2(\Omega) $ 中闭，且等于 $ \overline{\text{conv}(\pm \bb{F}_0)} $，确认了对偶结构。
• 在 $ \|\cdot\|_{\bb{D}} $-范数下，变差空间 $ \mathcal{K}(\bb{D}) $ 是巴拿赫空间，确保完备性与理论稳定性。
• 该表征意味着，带有 $ |f|_{(k)} $-型半范数的正则化学习问题的最小化器为有限宽度的浅层ReLU-k网络，从而证实了表示定理。