[论文解读] Compression and Interpretability of Deep Neural Networks via Tucker Tensor Layer: From First Principles to Tensor Valued Back-Propagation

Giuseppe G. Calvi, Ahmad Moniri+3 more|arXiv (Cornell University)|Mar 14, 2019

Tensor decomposition and applications参考文献 23被引用 21

一句话总结

本文提出Tucker张量层（TTL），一种新颖的框架，将深度神经网络全连接层中的密集权重矩阵替换为Tucker张量分解，实现在MNIST和Fashion-MNIST上高达66.63倍的参数压缩，同时保持性能不变。通过推导张量值反向传播，该方法通过张量因子的梯度分析实现物理可解释性，揭示特征重要性，并在VGG-16上实现10%的训练速度提升。

ABSTRACT

This work aims to help resolve the two main stumbling blocks in the application of Deep Neural Networks (DNNs), that is, the exceedingly large number of trainable parameters and their physical interpretability. This is achieved through a tensor valued approach, based on the proposed Tucker Tensor Layer (TTL), as an alternative to the dense weight-matrices of DNNs. This allows us to treat the weight-matrices of general DNNs as a matrix unfolding of a higher order weight-tensor. By virtue of the compression properties of tensor decompositions, this enables us to introduce a novel and efficient framework for exploiting the multi-way nature of the weight-tensor in order to dramatically reduce the number of DNN parameters. We also derive the tensor valued back-propagation algorithm within the TTL framework, by extending the notion of matrix derivatives to tensors. In this way, the physical interpretability of the Tucker decomposition is exploited to gain physical insights into the NN training, through the process of computing gradients with respect to each factor matrix. The proposed framework is validated on both synthetic data, and the benchmark datasets MNIST, Fashion-MNIST, and CIFAR-10. Overall, through the ability to provide the relative importance of each data feature in training, the TTL back-propagation is shown to help mitigate the "black-box" nature inherent to NNs. Experiments also illustrate that the TTL achieves a 66.63-fold compression on MNIST and Fashion-MNIST, while, by simplifying the VGG-16 network, it achieves a 10\% speed up in training time, at a comparable performance.

研究动机与目标

• 解决深度神经网络（DNNs）中高参数量与可解释性差的双重挑战。
• 开发一种基于张量的密集权重矩阵替代方法，用于全连接层，以降低模型复杂度。
• 通过推导Tucker分解因子的反向传播，实现物理可解释性。
• 证明张量值梯度可揭示数据模态（如空间、通道）在训练过程中的相对重要性。
• 在基准数据集上实现显著压缩与加速，同时不损失模型准确率。

提出的方法

• 将全连接层的权重矩阵视为高阶权重张量的矩阵展开形式。
• 对权重张量应用Tucker分解（TKD），将其分解为核心张量与因子矩阵，以实现压缩。
• 通过将矩阵导数推广至张量，推导张量值反向传播，计算相对于每个Tucker因子的梯度。
• 利用所得梯度解释每个数据模态（如高度、宽度、通道）对学习过程的贡献。
• 通过用TTL组件替换全连接层，将TTL集成到标准DNN架构（如VGG-16）中。
• 通过提取张量协方差中的模态信息（如模式-3用于RGB），增强复杂模型的性能与效率。

实验结果

研究问题

• RQ1 Tucker张量分解能否在保持性能的前提下用于压缩DNN中全连接层的参数？
• RQ2 如何在Tucker张量格式下解析推导反向传播，以实现物理可解释性？
• RQ3 通过分析相对于Tucker分解因子的梯度，能获得哪些关于特征重要性的洞见？
• RQ4 能否量化并利用数据模态（如空间、通道）的相对重要性以提升模型效率？
• RQ5 TTL在保持真实世界数据集准确率的前提下，能在多大程度上减少训练时间与参数数量？

主要发现

• 在MNIST和Fashion-MNIST上，TTL实现了66.63倍的压缩，测试准确率与未压缩网络相当。
• 在CIFAR-10上，TTL增强的Modal-VGG模型实现了89.2%的准确率，训练时间比完整VGG-16减少10%。
• 模式-3（RGB通道信息）被证明对分类最为关键，其引入使准确率达到89.2%。
• 即使未使用模态增强，使用简化VGG-16与TTL的训练速度也提升了超过12%。
• 张量值反向传播揭示，模式-3对学习的贡献大于模式-1或模式-2，提供了物理可解释性。
• 该框架可通过将模态特征（如模式-3的向量化协方差）输入深层网络，实现数据增强，从而在降低计算成本的同时提升性能。