[论文解读] A Theoretical Analysis on Feature Learning in Neural Networks: Emergence from Inputs and Advantage over Fixed Features

Zhenmei Shi, Junyi Wei+1 more|arXiv (Cornell University)|Jun 3, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文提供了理论分析，表明通过梯度下降训练的两层神经网络能够从结构化输入数据中学习有效特征，从而在泛化性能上优于固定特征的线性模型。其主要贡献在于证明：特征学习源于数据结构，且是实现低误差的必要条件；若去除该结构，即使在统计查询模型中，多项式时间算法也无法实现学习。

ABSTRACT

An important characteristic of neural networks is their ability to learn representations of the input data with effective features for prediction, which is believed to be a key factor to their superior empirical performance. To better understand the source and benefit of feature learning in neural networks, we consider learning problems motivated by practical data, where the labels are determined by a set of class relevant patterns and the inputs are generated from these along with some background patterns. We prove that neural networks trained by gradient descent can succeed on these problems. The success relies on the emergence and improvement of effective features, which are learned among exponentially many candidates efficiently by exploiting the data (in particular, the structure of the input distribution). In contrast, no linear models on data-independent features of polynomial sizes can learn to as good errors. Furthermore, if the specific input structure is removed, then no polynomial algorithm in the Statistical Query model can learn even weakly. These results provide theoretical evidence showing that feature learning in neural networks depends strongly on the input structure and leads to the superior performance. Our preliminary experimental results on synthetic and real data also provide positive support.

研究动机与目标

• 理解神经网络中特征学习的来源及其在性能优越性中的作用。
• 研究特征学习是否依赖于输入结构，以及这种依赖是否为实现低泛化误差所必需。
• 对神经网络与固定特征线性模型进行形式化比较，证明其在学习效率和准确率上的可证明优势。
• 分析梯度下降在从复杂输入模式中学习有效特征时的训练动态。
• 证明：若去除输入结构，则在标准计算模型下学习将变得不可能。

提出的方法

• 作者设计了一个合成学习问题，其中标签依赖于嵌入在结构化输入中的类别相关模式，同时存在背景噪声。
• 他们证明：通过梯度下降训练的两层ReLU网络，能够从输入分布中学习并优化有效特征，从而实现低误差。
• 分析揭示了三个训练阶段：粗略特征近似、有效特征的精炼，以及最终分类器的学习。
• 通过将网络输出分解为对应不同特征组分的项，来界定近似误差。
• 利用ReLU激活的性质、集中不等式，以及对初始化和学习率的假设，推导出理论边界。
• 通过向统计查询模型的归约表明：若无输入结构，任何多项式时间算法都无法实现弱学习。

实验结果

研究问题

• RQ1 通过梯度下降训练的神经网络能否从结构化输入中学习有效特征？若能，其机制如何？
• RQ2 为何在实际设置中神经网络的表现优于固定特征的线性模型？
• RQ3 输入分布的结构是否对特征学习和泛化至关重要？
• RQ4 在训练过程中，特征精炼在实现低误差中起到何种作用？
• RQ5 在现实假设下，能否从理论上证明特征学习的优势？

主要发现

• 通过梯度下降训练的两层ReLU网络在结构化输入问题上可实现误差率 O(k^8 / m^{2/3} + k^3 T / m^2 + k^2 m^{2/3} / T)。
• 当 T = m^{4/3} 且宽度 m ≥ Ω(k^{12}/ε^{3/2}) 时，泛化误差可被控制在任意小的范围内（≤ ε）。
• 任何大小为多项式规模的固定特征线性模型都无法实现相近的误差率，从而证明了特征学习的可证明优势。
• 特征学习的成功关键依赖于输入结构；若去除该结构，则在统计查询模型中学习将变得不可能。
• 训练动态包含三个阶段：初始特征近似、有效特征的精炼，以及最终分类器的学习。
• 第二阶段中有效特征的改进，是实现相对于固定特征理论优势的关键。