[论文解读] BT-Nets: Simplifying Deep Neural Networks via Block Term Decomposition

Guangxi Li, Jinmian Ye+4 more|arXiv (Cornell University)|Dec 15, 2017

Tensor decomposition and applications参考文献 27被引用 12

一句话总结

该论文提出BT-Nets，一种新型深度神经网络架构，通过使用块项（BT）分解将全连接（FC）层替换为块项（BT）层，从而大幅减少参数量。通过将输入/输出重塑为低秩张量并应用BT分解，BT-Nets在ImageNet上的压缩比超过11,000，且精度损失极小——在无需微调的情况下，其压缩性能和精度保持能力均优于张量列车（TT）方法。

ABSTRACT

Recently, deep neural networks (DNNs) have been regarded as the state-of-the-art classification methods in a wide range of applications, especially in image classification. Despite the success, the huge number of parameters blocks its deployment to situations with light computing resources. Researchers resort to the redundancy in the weights of DNNs and attempt to find how fewer parameters can be chosen while preserving the accuracy at the same time. Although several promising results have been shown along this research line, most existing methods either fail to significantly compress a well-trained deep network or require a heavy fine-tuning process for the compressed network to regain the original performance. In this paper, we propose the extit{Block Term} networks (BT-nets) in which the commonly used fully-connected layers (FC-layers) are replaced with block term layers (BT-layers). In BT-layers, the inputs and the outputs are reshaped into two low-dimensional high-order tensors, then block-term decomposition is applied as tensor operators to connect them. We conduct extensive experiments on benchmark datasets to demonstrate that BT-layers can achieve a very large compression ratio on the number of parameters while preserving the representation power of the original FC-layers as much as possible. Specifically, we can get a higher performance while requiring fewer parameters compared with the tensor train method.

研究动机与目标

• 为解决由于参数量过大而难以在资源受限设备上部署深度神经网络（DNN）的挑战。
• 探究张量分解是否能在保持表征能力的前提下，实现高于现有方法（如张量列车TT）的压缩比。
• 通过设计对秩变化具有内在鲁棒性的层架构，消除微调的需要。
• 证明BT层可在大幅减少全连接层参数量的同时，保持甚至提升精度。

提出的方法

• 用使用块项分解表示权重重矩阵的块项（BT）层替代标准全连接（FC）层。
• 在应用BT分解前，将输入和输出激活重塑为低维高阶张量。
• 使用两种秩——CP-秩（R_C）和Tucker-秩（R_T）——来控制BT层的复杂度和表征能力。
• 将块项分解作为张量算子，结合Tucker分解与CANDECOMP/PARAFAC分解，实现指数级的表征能力。
• 利用BT层的可交换性，避免对秩进行微调，而TT层则需进行秩优化。
• 端到端训练网络，无需额外微调，依赖BT分解的结构鲁棒性。

实验结果

研究问题

• RQ1 块项分解是否能在全连接层中实现显著高于现有张量分解方法（如张量列车TT）的压缩比？
• RQ2 尽管参数量大幅减少，BT层是否仍能保持或增强标准FC层的表征能力？
• RQ3 BT-Nets是否能在无需微调的情况下实现高精度压缩，而无需像TT网络那样对秩配置敏感？
• RQ4 CP-秩和Tucker-秩在BT层中如何共同影响精度和参数量？
• RQ5 与基线FC层和TT层相比，BT-Nets在压缩、精度、推理/训练时间之间存在何种权衡？

主要发现

• 在ImageNet上，最佳BT层配置（'4-BT2'）在单个FC层上实现了11,070倍的压缩比（从6400×4096减少到2,368个参数），优于TT8（2,528的压缩比）。
• '4-BT2'配置实现了56.48%的Top-1精度和79.69%的Top-5精度，略高于基线（56.17% Top-1，79.62% Top-5），且无需微调。
• '1-BT2'配置实现了超过44,000倍的压缩因子，Top-5精度仅下降2.2%，在压缩和精度两方面均优于'TT2'。
• 当秩较小时，BT层表现出显著的推理加速；仅当秩增加到与基线性能匹配时，训练和推理时间才接近FC层。
• 实验结果表明，增加CP-秩和Tucker-秩可提升精度，但收益递减；过度增加秩会导致参数量急剧上升，原因在于核心张量的指数级扩展。
• BT层的可交换结构消除了微调的需要，而TT层由于其'橄榄形'秩分布，必须进行精细的秩调优。