[论文解读] A Random Matrix Perspective on Mixtures of Nonlinearities for Deep Learning

Ben Adlam, Jake Levinson+1 more|arXiv (Cornell University)|Dec 2, 2019

Random Matrices and Applications参考文献 42被引用 17

一句话总结

本文提出一种随机矩阵理论框架，用于分析高维设置下具有非线性混合的随机特征回归，其中数据规模和模型宽度均趋于无穷大。推导出训练误差和测试误差的精确渐近公式，表明学习到的非线性混合可同时在记忆容量和泛化能力上超越表现最佳的单一非线性，为核方法和神经架构设计提供了新见解。

ABSTRACT

One of the distinguishing characteristics of modern deep learning systems is that they typically employ neural network architectures that utilize enormous numbers of parameters, often in the millions and sometimes even in the billions. While this paradigm has inspired significant research on the properties of large networks, relatively little work has been devoted to the fact that these networks are often used to model large complex datasets, which may themselves contain millions or even billions of constraints. In this work, we focus on this high-dimensional regime in which both the dataset size and the number of features tend to infinity. We analyze the performance of random feature regression with features $F=f(WX+B)$ for a random weight matrix $W$ and random bias vector $B$, obtaining exact formulae for the asymptotic training and test errors for data generated by a linear teacher model. The role of the bias can be understood as parameterizing a distribution over activation functions, and our analysis directly generalizes to such distributions, even those not expressible with a traditional additive bias. Intriguingly, we find that a mixture of nonlinearities can improve both the training and test errors over the best single nonlinearity, suggesting that mixtures of nonlinearities might be useful for approximate kernel methods or neural network architecture design.

研究动机与目标

• 理解在数据集规模和模型宽度均趋于无穷大的高维情形下，深度学习模型的性能表现。
• 分析由随机权重和偏置分布诱导的非线性性下的随机特征回归。
• 探究非线性混合是否能超越表现最佳的单一非线性，在泛化能力和记忆能力方面实现提升。
• 在线性教师模型下，推导训练误差和测试误差的精确渐近表达式。
• 将核矩阵谱分析扩展至非高斯数据和非零偏置分布的情形。

提出的方法

• 使用随机矩阵理论分析核矩阵 $ F^ op F $ 的预解式，其中 $ F = f(WX + B) $，且 $ W $ 和 $ B $ 为随机矩阵。
• 引入一个代理线性化 $ F^{ ext{lin}} $，以保持 $ F $ 的谱特性，从而实现可处理的分析。
• 推导出在噪声自编码任务中训练误差的精确渐近公式，以及在线性教师模型下的测试误差公式。
• 应用预解式方法表征核矩阵的特征值密度，将先前结果推广至非高斯和带偏置的设定。
• 使用算子值自由概率计算测试误差，将结果与广义交叉验证（GCV）指标相联系。
• 通过在不同斜率的 leaky ReLU 等激活函数上的模拟验证理论预测，结果与理论高度一致。

实验结果

研究问题

• RQ1 在高维随机特征模型中，非线性混合是否能在训练误差和测试误差方面超越表现最佳的单一非线性？
• RQ2 偏置分布如何参数化一类激活函数，其对泛化能力和记忆能力有何影响？
• RQ3 当数据规模和模型宽度均趋于无穷大时，训练误差和测试误差的精确渐近行为是什么？
• RQ4 核矩阵 $ F^ op F $ 的谱密度如何依赖于输入数据分布和所用非线性函数？
• RQ5 所推导的测试误差与随机特征模型中广义交叉验证（GCV）指标之间是否存在更深层次的联系？

主要发现

• 即使在最优单一非线性被精心选择的情况下，非线性混合仍能实现更低的测试误差和更强的记忆容量。
• 测试误差的理论预测与广义交叉验证（GCV）指标在渐近下高度一致，表明 GCV 与随机特征学习之间存在根本性联系。
• 核矩阵 $ F^ op F $ 的特征值密度得到解析表征，将先前工作推广至非高斯数据和非零偏置分布的情形。
• 代理线性化 $ F^{ ext{lin}} $ 保留了 $ F $ 的谱信息，从而实现了误差公式的精确计算。
• 模拟结果表明，理论预测与实证结果高度吻合，即使仅使用单一样本也表现出良好一致性，验证了渐近公式的可靠性。
• 最优单一非线性和最优混合之间存在可数值检测的性能差距，证实了混合非线性确实具有实质性优势。