[论文解读] Improving Neural Network Training in Low Dimensional Random Bases

Frithjof Gressmann, Zach Eaton-Rosen+1 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Neural Network Applications参考文献 37被引用 6

一句话总结

该论文提出随机基下降法（RBD），通过在每次优化步骤中重新绘制低维子空间，改进神经网络训练，实现比固定随机投影更快的收敛速度和更高的准确率。在ResNet-8上，RBD在CIFAR-10数据集上实现最高10倍的加速，并将验证准确率提高20.5%。

ABSTRACT

Stochastic Gradient Descent (SGD) has proven to be remarkably effective in optimizing deep neural networks that employ ever-larger numbers of parameters. Yet, improving the efficiency of large-scale optimization remains a vital and highly active area of research. Recent work has shown that deep neural networks can be optimized in randomly-projected subspaces of much smaller dimensionality than their native parameter space. While such training is promising for more efficient and scalable optimization schemes, its practical application is limited by inferior optimization performance. Here, we improve on recent random subspace approaches as follows: Firstly, we show that keeping the random projection fixed throughout training is detrimental to optimization. We propose re-drawing the random subspace at each step, which yields significantly better performance. We realize further improvements by applying independent projections to different parts of the network, making the approximation more efficient as network dimensionality grows. To implement these experiments, we leverage hardware-accelerated pseudo-random number generation to construct the random projections on-demand at every optimization step, allowing us to distribute the computation of independent random directions across multiple workers with shared random seeds. This yields significant reductions in memory and is up to 10 times faster for the workloads in question.

研究动机与目标

• 解决固定随机子空间方法在低维神经网络训练中优化性能不佳的问题。
• 通过利用硬件加速的随机数生成，提升大规模优化的效率与可扩展性。
• 探究在训练深度网络时，动态的、每步更新的随机投影是否能优于静态投影。
• 探索分块随机投影策略，以提升网络规模增大时的近似效率。
• 证明在每一步重新绘制随机基，相比固定投影下降（FPD），可实现更好的泛化性能和更快的收敛速度。

提出的方法

• 提出随机基下降（RBD），其中随机投影矩阵在每个优化步骤中重新采样，而非固定不变。
• 对网络的不同组件（如层或权重组）应用独立的随机投影，降低每个组件的有效维度。
• 利用硬件加速的伪随机数生成，在需要时计算随机方向，支持使用共享种子的分布式计算。
• 采用分块策略，按层大小比例分配随机基，提升深层网络中的近似效率。
• 通过参数化方法实现该方法，使更新被约束在每一步独立采样随机向量张成的低维子空间内。
• 通过将梯度投影到当前随机基上，将该方法集成到标准SGD中，实现高效且低内存的优化。

实验结果

研究问题

• RQ1 与固定随机投影相比，在每个训练步骤中重新绘制随机子空间是否能显著提升优化性能？
• RQ2 随着模型规模增大，将随机投影分块分配到网络各层是否能提升训练效率和准确率？
• RQ3 动态随机基在大幅减少可训练参数的前提下，能在多大程度上实现与全维SGD相当或更优的性能？
• RQ4 在准确率和收敛速度方面，RBD与固定投影下降（FPD）及无导数优化方法（如NES）相比表现如何？
• RQ5 硬件加速的按需随机数生成是否能使动态随机子空间优化在大规模模型上变得实用且可扩展？

主要发现

• 在ResNet-8上，RBD相比固定投影下降（FPD）基线，验证准确率提升20.5%，相比黑箱NES提升39.6%。
• 在可训练参数减少10倍（7,982 vs. 78,330）的情况下，RBD达到SGD基线84%的准确率，且在所有压缩水平下均优于FPD。
• 在参数减少75倍时，RBD相比FPD仍保持超过11%的相对性能提升，表明在极端压缩下仍具鲁棒性。
• 与基线方法相比，该方法将实际训练时间最多减少10倍，尤其得益于高效的内存使用和分布式计算。
• 将随机投影分块分配到各层可同时提升准确率和训练速度，即使应用于FPD也表现出可测量的性能增益。
• 在参数减少10倍时，RBD梯度与全维SGD梯度的相关性仍较强（相关系数为0.42 ± 0.18），表明其对下降方向的近似有效。