[论文解读] Bayesian Tensorized Neural Networks with Automatic Rank Selection

Cole Hawkins, Zheng Zhang|arXiv (Cornell University)|May 24, 2019

Tensor decomposition and applications参考文献 45被引用 17

一句话总结

该论文提出了一种基于变分推理实现自动秩选择的贝叶斯张量化神经网络，结合张量列车分解，实现端到端训练，模型参数量紧凑且具备不确定性量化能力。在MNIST和CIFAR-10基准测试中，该方法实现7.4×至137×的模型压缩率，同时保持高精度。

ABSTRACT

Tensor decomposition is an effective approach to compress over-parameterized neural networks and to enable their deployment on resource-constrained hardware platforms. However, directly applying tensor compression in the training process is a challenging task due to the difficulty of choosing a proper tensor rank. In order to achieve this goal, this paper proposes a Bayesian tensorized neural network. Our Bayesian method performs automatic model compression via an adaptive tensor rank determination. We also present approaches for posterior density calculation and maximum a posteriori (MAP) estimation for the end-to-end training of our tensorized neural network. We provide experimental validation on a fully connected neural network, a CNN and a residual neural network where our work produces $7.4 imes$ to $137 imes$ more compact neural networks directly from the training.

研究动机与目标

• 为解决低秩神经网络压缩中选择最优张量秩的挑战，该挑战对模型效率与性能至关重要。
• 通过将贝叶斯推断与张量列车分解相结合，实现压缩神经网络的端到端训练。
• 在训练过程中自动确定张量秩，无需先验知识或人工调参。
• 利用完整的后验推断提供预测的不确定性估计，提升在安全关键应用中的可靠性。
• 在全连接层与卷积层上实现高模型压缩率，同时保持或提升模型精度。

提出的方法

• 该方法采用张量列车（TT）分解对权重矩阵和卷积核进行参数化，通过低秩分解减少模型参数量。
• 引入分层贝叶斯先验，以在TT秩上诱导稀疏性，基于数据驱动证据实现自动秩确定。
• 使用Stein变分梯度下降（SVGD）近似网络权重的完整后验分布，实现可扩展的贝叶斯推断。
• 采用相同的框架进行最大后验估计（MAP），以实现高效推理与不确定性量化。
• 通过基于梯度的优化方法进行端到端训练，其中TT秩在学习过程中自适应更新。
• 该框架支持完整的贝叶斯推断与MAP估计，允许在不确定性量化与计算成本之间进行权衡。

实验结果

研究问题

• RQ1 贝叶斯推断能否与张量列车分解有效结合，实现在神经网络训练过程中的自动张量秩选择？
• RQ2 与固定秩的张量化网络相比，所提方法在模型压缩与预测精度方面表现如何？
• RQ3 自动秩确定在多大程度上可显著减小模型规模，同时在图像分类任务中保持高性能？
• RQ4 贝叶斯形式化能否为低秩神经网络提供可靠的不确定性估计，特别是在处理模糊输入时？
• RQ5 该方法在全连接层上的压缩效果是否优于卷积层？原因是什么？

主要发现

• 所提出的LR-BTNN方法在两层全连接MNIST网络上，相比标准贝叶斯神经网络，实现高达137×的参数量压缩。
• 在六层卷积神经网络上，模型实现15.8×的压缩率，同时保持具有竞争力的精度，优于先前的张量化方法。
• 在110层残差网络上，方法实现7.4×的压缩率，测试精度仅比完整模型下降0.7%。
• 自动秩选择过程显著降低了TT秩——例如，MNIST模型第一层全连接层的TT秩从(1,20,20,20,1)降低至(1,8,1,5,1)。
• 贝叶斯形式化支持不确定性量化：对于模糊输入，模型可在多个类别上表现出高置信度，如softmax输出的联合密度图所示。
• 该方法在压缩效率方面优于标准贝叶斯神经网络与固定秩张量化网络，尤其在全连接层上表现更优。