[论文解读] Approximation by Combinations of ReLU and Squared ReLU Ridge Functions with $ \ell^1 $ and $ \ell^0 $ Controls

Jason M. Klusowski, Andrew R. Barron|arXiv (Cornell University)|Jul 26, 2016

Sparse and Compressive Sensing Techniques参考文献 13被引用 9

一句话总结

本文为使用ReLU和平方ReLU径向基函数的线性组合来近似高维函数建立了$L^∞$和$L^2$误差界，其中对内层和外层参数施加了$\ell^1$和$\ell^0$约束。研究显示，$L^2$误差与内层$\ell^0$稀疏度呈反比，与外层$\ell^0$稀疏度呈次线性关系，采用了一种琼斯-巴伦概率方法的变体，并通过匹配的下界证明了近似最优性。

ABSTRACT

We establish $ L^{\infty} $ and $ L^2 $ error bounds for functions of many variables that are approximated by linear combinations of ReLU (rectified linear unit) and squared ReLU ridge functions with $ \ell^1 $ and $ \ell^0 $ controls on their inner and outer parameters. With the squared ReLU ridge function, we show that the $ L^2 $ approximation error is inversely proportional to the inner layer $ \ell^0 $ sparsity and it need only be sublinear in the outer layer $ \ell^0 $ sparsity. Our constructions are obtained using a variant of the Jones-Barron probabilistic method, which can be interpreted as either stratified sampling with proportionate allocation or two-stage cluster sampling. We also provide companion error lower bounds that reveal near optimality of our constructions. Despite the sparsity assumptions, we showcase the richness and flexibility of these ridge combinations by defining a large family of functions, in terms of certain spectral conditions, that are particularly well approximated by them.

研究动机与目标

• 研究在内层和外层参数上施加$\ell^1$和$\ell^0$约束条件下，ReLU和平方ReLU径向基函数线性组合的逼近能力。
• 确定对参数的稀疏性假设在多大程度上限制了高维函数逼近中的模型灵活性。
• 识别目标函数的谱条件，以确保在有界参数范数下，能通过这些径向基组合实现高效逼近。
• 在稀疏性约束下，建立$ L^2 $和$ L^\infty $范数下逼近误差的紧致上下界。

提出的方法

• 采用琼斯-巴伦概率方法的一种变体，可解释为按比例分配的分层抽样或两阶段聚类抽样。
• 使用随机参数化：对每个径向基函数，通过$\widetilde{a}_{\ell,k}$随机重构内层参数向量$a_k$，其中$\widetilde{a}_{\ell,k}$是按$|a_k(j)|$缩放的随机符号向量。
• 随机参数化函数的期望值与原始径向基函数一致，确保了无偏逼近。
• 利用$\mathbb{E}[\widetilde{a}_{\ell,k} \cdot x] = a_k \cdot x$和$\mathsf{Var}[\widetilde{a}_{\ell,k} \cdot x] \leq \|a_k\|_1 \|x\|_\infty^2 \leq 1$，推导出内层参数逼近的方差界。
• 将逼近误差分解为偏差和方差两部分，通过三角不等式和$z_+^{s-1}$的性质推导出界。
• 使用关键不等式：对$s=2$，有$|(z)_+ - (z')_+| \leq |z - z'|$；对$s=3$，有$|(z)^2_+ - (z')^2_+ - 2(z - z')(z')_+| \leq |z - z'|^2$。

实验结果

研究问题

• RQ1 内层参数的$\ell^0$稀疏度在多大程度上影响ReLU和平方ReLU径向基函数的$L^2$逼近误差？
• RQ2 函数$f$需满足何种谱条件，才能在有界$\ell^1$和$\ell^0$约束下，通过此类径向基组合实现良好逼近？
• RQ3 逼近误差能否在不依赖输入维度$d$的情况下被界定，特别是在$\|a_k\|_1 = 1$时？
• RQ4 逼近速率与下界相比如何？构造是否近似最优？
• RQ5 概率方法在构建具有可控稀疏性的高效逼近中起到什么作用？

主要发现

• 平方ReLU径向基函数的$L^2$逼近误差与内层$\ell^0$稀疏度成反比，与外层$\ell^0$稀疏度呈次线性关系。
• 当$s=2$时，$L^2$误差界为$\|f - \mathbb{E}\overline{f}_{m,m_0}\|_2^2 \leq v^2 / m_0$，表明对内层参数采样数$m_0$的反比依赖。
• 当$s=3$时，$L^2$误差界为$\|f - \mathbb{E}\overline{f}_{m,m_0}\|_2^2 \leq v^2 / m_0^2$，表明$m_0$的平方改进。
• 构造实现了近似最优性，由匹配的下界证实，上下界仅相差对数因子。
• 满足$v_{f,1} < \infty$（即傅里叶变换具有$\ell^1$加权频率范数）的函数，可在$L^\infty$中以$O(m^{-1/2})$的速率逼近。
• 该方法可实现与维度$d$无关的$L^2$误差界，即使在$\|a_k\|_1 = 1$和$\|a_k\|_0 \leq m_0$的约束下亦成立。