[论文解读] An exploration of parameter redundancy in deep networks with circulant projections

Yu Cheng, Felix X. Yu+4 more|arXiv (Cornell University)|Feb 11, 2015

Advanced Neural Network Applications参考文献 38被引用 48

一句话总结

本文提出用循环投影替代深度神经网络中的非结构化全连接层，以显著降低内存和计算成本。通过利用快速傅里叶变换（FFT），该方法将时间复杂度从 O(d²) 降低至 O(d log d)，空间复杂度从 O(d²) 降低至 O(d)，在标准数据集上实现接近最先进性能的同时仅造成轻微准确率下降，同时实现更快的训练速度，并可扩展至更大模型。

ABSTRACT

We explore the redundancy of parameters in deep neural networks by replacing the conventional linear projection in fully-connected layers with the circulant projection. The circulant structure substantially reduces memory footprint and enables the use of the Fast Fourier Transform to speed up the computation. Considering a fully-connected neural network layer with d input nodes, and d output nodes, this method improves the time complexity from O(d^2) to O(dlogd) and space complexity from O(d^2) to O(d). The space savings are particularly important for modern deep convolutional neural network architectures, where fully-connected layers typically contain more than 90% of the network parameters. We further show that the gradient computation and optimization of the circulant projections can be performed very efficiently. Our experiments on three standard datasets show that the proposed approach achieves this significant gain in storage and efficiency with minimal increase in error rate compared to neural networks with unstructured projections.

研究动机与目标

• 为解决现代神经网络架构中全连接层带来的高昂内存和计算成本，这些层通常占参数总数的 90% 以上。
• 探索全连接层中的参数冗余性，并利用结构约束来减小模型尺寸，同时保持性能损失最小。
• 开发一种高效的优化方法，用于训练采用循环投影矩阵的神经网络，同时保持模型容量。
• 证明循环投影可在显著减少存储空间和推理时间的前提下实现具有竞争力的准确率。
• 在固定计算和内存预算下，实现更深、更大的全连接网络的训练。

提出的方法

• 用由单个向量及其循环移位定义的循环矩阵替代标准密集权重矩阵，将参数量从 O(d²) 降低至 O(d)。
• 利用快速傅里叶变换（FFT）将矩阵-向量乘积的计算时间从 O(d²) 降低至 O(d log d)，从而实现更快的推理和训练。
• 在循环投影前引入符号翻转矩阵 D，以提升模型的表示能力，防止投影退化为低秩形式。
• 通过反向传播公式化循环矩阵的优化过程，利用基于 FFT 的操作高效计算梯度。
• 在全连接层中应用循环投影，特别是在卷积神经网络的最后几层，以替代标准密集层。
• 采用随机初始化的循环矩阵，并通过标准反向传播进行端到端微调，保持与标准深度学习框架的兼容性。

实验结果

研究问题

• RQ1 循环投影能否在保持竞争力准确率的前提下，有效替代深度网络中的非结构化密集层？
• RQ2 在不降低模型性能的前提下，循环投影在全连接层中能将内存和计算成本降低多少？
• RQ3 符号翻转矩阵 D 的引入如何影响循环网络的表示能力与泛化性能？
• RQ4 在参数量相近的情况下，循环网络能否实现比标准网络更高效且更快收敛的训练？
• RQ5 在固定资源约束下，循环网络在多大程度上可扩展至更深或更大的架构？

主要发现

• 在 MNIST 上，循环网络的测试错误率为 0.95%，仅比标准网络高 0.5%，尽管其内存使用量减少了 4000 倍。
• 在 CIFAR-10 上，循环模型的测试错误率为 16.71%，仅比基线高 1.5%，且参数量减少了 4000 倍。
• 在 ImageNet 上，循环模型的 top-1 错误率为 25.5%，与标准网络的 25.3% 相当，同时内存使用量减少了 99%以上。
• 符号翻转矩阵 D 的引入至关重要：移除它后，MNIST 上的错误率上升 1.5%，CIFAR-10 上上升 4.6%。
• 在相同计算预算下，循环模型的训练深度可达标准网络的 10 倍，展现出卓越的可扩展性。
• 由于 FFT 加速，该方法在全连接网络上将每轮训练时间减少了最多 30%，且对收敛速度影响极小。