[论文解读] Compression of Fully-Connected Layer in Neural Network by Kronecker Product

Shuchang Zhou, Jianan Wu|arXiv (Cornell University)|Jul 21, 2015

Neural Networks and Applications参考文献 17被引用 4

一句话总结

本文提出Kronecker全连接（KFC）层，通过将神经网络全连接层的权重矩阵近似为较小矩阵的Kronecker积的线性组合，实现参数压缩，参数量最多减少99%，计算时间显著降低，同时保持可接受的准确率——在SVHN数据集上实现73%的参数减少，仅带来轻微的误差增加，而低秩方法仅实现35%的参数减少。

ABSTRACT

In this paper we propose and study a technique to reduce the number of parameters and computation time in fully-connected layers of neural networks using Kronecker product, at a mild cost of the prediction quality. The technique proceeds by replacing Fully-Connected layers with so-called Kronecker Fully-Connected layers, where the weight matrices of the FC layers are approximated by linear combinations of multiple Kronecker products of smaller matrices. In particular, given a model trained on SVHN dataset, we are able to construct a new KFC model with 73\% reduction in total number of parameters, while the error only rises mildly. In contrast, using low-rank method can only achieve 35\% reduction in total number of parameters given similar quality degradation allowance. If we only compare the KFC layer with its counterpart fully-connected layer, the reduction in the number of parameters exceeds 99\%. The amount of computation is also reduced as we replace matrix product of the large matrices in FC layers with matrix products of a few smaller matrices in KFC layers. Further experiments on MNIST, SVHN and some Chinese Character recognition models also demonstrate effectiveness of our technique.

研究动机与目标

• 在不显著降低准确率的前提下，减少神经网络全连接层的参数数量和计算时间。
• 探索在严格资源约束下保持模型性能的结构化参数压缩技术。
• 对比基于Kronecker积的压缩方法与传统低秩近似方法在神经网络层中的有效性。
• 在MNIST、SVHN和中文字符识别等多样化数据集上评估所提方法。
• 研究将基于Kronecker的压缩方法扩展至卷积层及其他架构（如RNN）的可行性。

提出的方法

• 将全连接层的权重矩阵近似为较小矩阵Kronecker积的线性组合，实现高效参数化。
• 采用两种公式：KFC-I用于张量输入，KFC-M用于矩阵输入，均基于Kronecker积分解。
• 应用Kronecker积分解，将大权重矩阵表示为多个较小的低秩分量之和，降低存储与计算开销。
• 通过微调训练压缩后的模型，使新KFC层的参数适应输入数据，提升近似后的泛化能力。
• 利用结构约束：秩为r的矩阵可表示为两个较小矩阵的乘积，从而通过Kronecker分解实现低秩近似。
• 结合多个Kronecker积分解（公式II、III、IV），在保持压缩率的同时提升模型表征能力。

实验结果

研究问题

• RQ1 基于Kronecker积的分解能否有效压缩神经网络中的全连接层，同时保持模型准确率？
• RQ2 在标准数据集上，KFC层的参数减少与准确率损失权衡，相较于低秩近似方法表现如何？
• RQ3 在图像识别和字符识别等实际应用中，KFC层在减少计算量和模型大小方面能达到何种程度？
• RQ4 结合多个Kronecker积公式是否能在保持高压缩率的同时提升模型性能？
• RQ5 Kronecker积技术能否扩展至其他层（如卷积层或循环层），实现更广泛的神经网络压缩？

主要发现

• 在SVHN数据集上，KFC-II方法实现了全连接层参数量99.0%的减少，测试误差仅增加0.76%，相比基线模型。
• KFC-Combined方法将总模型参数量减少了73.7%，测试误差为2.60%，优于LowRank-64（3.67%误差）的55.1%参数减少。
• 在中文字符识别任务中，KFC-KFCM-rank-10方法实现了91.8%的总参数减少，测试误差为13.0%，在秩为1时恢复了大部分性能损失。
• 与原始全连接层相比，KFC层的参数量减少了超过99%，证明了其卓越的压缩效率。
• 在SVHN上，KFC方法实现了73%的总参数减少，准确率损失极小，显著优于低秩方法（在相似误差约束下仅实现35%减少）。
• 在KFC层构建后进行微调，有效缓解了准确率下降问题，证实了该方法在实际部署中的可行性。