[论文解读] Learning Single-Index Models with Shallow Neural Networks

Alberto Bietti, Joan Bruna+2 more|arXiv (Cornell University)|Oct 27, 2022

Stochastic Gradient Optimization Techniques被引用 11

一句话总结

本文提出一种带有冻结随机偏置的浅层神经网络，通过梯度流学习单索引模型。研究表明，在足够宽的条件下，梯度流可实现恢复隐藏方向的近似最优样本复杂度 O(d^s)，并实现对单变量链接函数的近似最优逼近，其理论依据为良性优化景观与一致收敛性分析。

ABSTRACT

Single-index models are a class of functions given by an unknown univariate ``link'' function applied to an unknown one-dimensional projection of the input. These models are particularly relevant in high dimension, when the data might present low-dimensional structure that learning algorithms should adapt to. While several statistical aspects of this model, such as the sample complexity of recovering the relevant (one-dimensional) subspace, are well-understood, they rely on tailored algorithms that exploit the specific structure of the target function. In this work, we introduce a natural class of shallow neural networks and study its ability to learn single-index models via gradient flow. More precisely, we consider shallow networks in which biases of the neurons are frozen at random initialization. We show that the corresponding optimization landscape is benign, which in turn leads to generalization guarantees that match the near-optimal sample complexity of dedicated semi-parametric methods.

研究动机与目标

• 通过分析单索引模型的基于梯度的优化，弥合高维学习中统计与计算保证之间的差距。
• 证明带有冻结偏置的浅层神经网络可实现学习单索引模型的近似最优样本复杂度。
• 通过良性优化景观建立与专用半参数方法相匹配的泛化保证。
• 在单一框架中统一非参数回归与非凸高维优化的解决方案。

提出的方法

• 该方法采用浅层神经网络，其中神经元偏置在随机初始化后被冻结，从而将优化问题简化为仅学习方向与输出权重。
• 在连续时间极限下分析梯度流，以研究收敛性与泛化特性。
• 证明优化景观为良性：不存在虚假局部极小值，其理论基础为经验损失对总体损失的一致收敛性。
• 理论分析借助再生核希尔伯特空间（RKHS）中的随机特征近似，以控制链接函数的逼近误差。
• 关键技术工具包括浓度不等式与ReLU激活函数的埃尔米特系数分析，用于控制逼近函数的RKHS范数。
• 理论保证基于链接函数的信息指数 s，该指数量化信号强度并决定样本复杂度。

实验结果

研究问题

• RQ1 在带有冻结偏置的浅层神经网络上，梯度流能否实现学习单索引模型的近似最优样本复杂度？
• RQ2 在偏置随机初始化下，经验损失的优化景观是否仍保持良性？
• RQ3 该网络能否同时高效解决非参数回归与高维非凸优化问题？
• RQ4 链接函数的信息指数 s 如何影响该方法的泛化性能与样本复杂度？
• RQ5 随机特征近似与RKHS范数在控制链接函数逼近误差中起什么作用？

主要发现

• 在所提出的带有冻结偏置的浅层网络上，梯度流以样本复杂度 O(d^s) 恢复真实隐藏方向 θ*，与专用半参数方法的近似最优速率一致。
• 该方法在RKHS范数下实现了对单变量链接函数 f* 的近似最优逼近，误差界依赖于信息指数 s。
• 优化景观为良性：总体损失的所有一阶临界点均为全局最小值，确保收敛至最优解。
• 通过经验损失对总体损失的一致收敛性保证泛化性能，当网络宽度超过依赖于 f* 光滑度的阈值时该一致性成立。
• 对于ReLU激活函数，链接函数的埃尔米特系数有界，从而可控制RKHS范数并确保逼近的稳定性。
• 理论结果通过数值实验验证，结果表明在各种设置下均能一致恢复 θ* 并准确逼近 f*。