[论文解读] Tensor Contraction Layers for Parsimonious Deep Nets

Jean Kossaifi, Aran Khanna+3 more|arXiv (Cornell University)|Jun 1, 2017

Tensor decomposition and applications参考文献 18被引用 10

一句话总结

本文提出张量收缩层（TCL），这是一种新型可微分神经网络层，通过在激活张量上应用张量收缩操作来降低维度并减少模型参数。通过利用卷积神经网络中特征图的多线性结构，TCL 实现了显著的模型压缩——参数量最高可减少 92 倍——同时在 CIFAR100 和 ImageNet 基准测试中保持或甚至提升准确率。

ABSTRACT

Tensors offer a natural representation for many kinds of data frequently encountered in machine learning. Images, for example, are naturally represented as third order tensors, where the modes correspond to height, width, and channels. Tensor methods are noted for their ability to discover multi-dimensional dependencies, and tensor decompositions in particular, have been used to produce compact low-rank approximations of data. In this paper, we explore the use of tensor contractions as neural network layers and investigate several ways to apply them to activation tensors. Specifically, we propose the Tensor Contraction Layer (TCL), the first attempt to incorporate tensor contractions as end-to-end trainable neural network layers. Applied to existing networks, TCLs reduce the dimensionality of the activation tensors and thus the number of model parameters. We evaluate the TCL on the task of image recognition, augmenting two popular networks (AlexNet, VGG). The resulting models are trainable end-to-end. Applying the TCL to the task of image recognition, using the CIFAR100 and ImageNet datasets, we evaluate the effect of parameter reduction via tensor contraction on performance. We demonstrate significant model compression without significant impact on the accuracy and, in some cases, improved performance.

研究动机与目标

• 为解决深度神经网络中真正需要多少参数的问题，提出一种在不牺牲性能的前提下减少模型大小的方法。
• 探索使用张量代数运算（特别是张量收缩）作为深度网络中的可训练层，以利用多维数据结构。
• 评估用张量收缩层替换全连接层是否能实现显著的参数减少，同时保持或提升准确率。
• 证明张量收缩可作为卷积网络中展平和全连接层的有效替代方案，保留结构信息并实现更快的推理速度。
• 研究将 TCL 作为即插即用模块集成到现有架构（如 AlexNet 和 VGG）中的可行性，以实现高效模型压缩并可能获得性能提升。

提出的方法

• 提出张量收缩层（TCL）作为端到端可训练的层，通过学习到的投影因子对激活张量应用 n 模式张量收缩。
• 应用 n 模式乘积运算：$\mathcal{G} = \mathcal{X} \times_1 \mathbf{U}^{(1)} \times_2 \cdots \times_N \mathbf{U}^{(N)}$，其中 $\mathcal{X}$ 为输入激活张量，$\mathbf{U}^{(n)}$ 为可学习的投影矩阵。
• 通过张量展开和矩阵乘法高效计算收缩操作，支持该层的反向传播。
• 用 TCL 替换 AlexNet 和 VGG 中的全连接层，在保持相同或更优性能的同时显著减少最终层的参数数量。
• 采用标准训练协议，结合多 GPU 数据并行训练，确保配备 TCL 的网络能够实现端到端训练。
• 直接将 TCL 应用于最终卷积层的 3D 激活张量（例如，$\text{batch_size} \times 256 \times 5 \times 5$），而非先将其展平，从而保留多维结构。

实验结果

研究问题

• RQ1 张量收缩能否作为深度神经网络中的可训练层，用于在保持性能的前提下减少模型大小？
• RQ2 TCL 在图像识别任务中，能在多大程度上减少全连接层的参数数量而不降低准确率？
• RQ3 通过张量收缩保留激活张量的多线性结构，是否能带来相比标准展平和全连接层更优或更稳定的性能表现？
• RQ4 TCL 在压缩大规模模型（如 AlexNet）于 ImageNet 上的效果如何？是否能在极小准确率损失下实现更快的推理速度？
• RQ5 TCL 能否以即插即用方式替代现有架构中的全连接层，而无需进行架构重新设计？

主要发现

• 在 CIFAR100 上对 AlexNet 和 VGG 的最终卷积特征图应用 TCL，可将参数量最多减少 92 倍，当替换两个全连接层时，准确率仅下降 2.5%。
• 在全连接层前添加一个尺寸保持不变的 TCL，略微提升了性能，同时对全连接层参数量的影响可忽略不计。
• 用 TCL 替换第一个全连接层显著减少了参数量，并在 ImageNet 上保持了与基线 AlexNet 相同的 Top-1 准确率。
• 在 ImageNet 上，于全连接层前添加 TCL 即使参数量增加极少，也略微提升了性能。
• TCL 实现了显著的模型压缩，且准确率下降极小；在某些情况下，由于结构化张量运算带来了更优的表征学习，性能甚至有所提升。
• 由于参数量减少，该方法可直接降低计算成本，从而实现更快的推理速度。