[论文解读] Learning Compact Recurrent Neural Networks with Block-Term Tensor Decomposition

Jinmian Ye, Linnan Wang+5 more|arXiv (Cornell University)|Dec 14, 2017

Tensor decomposition and applications参考文献 47被引用 17

一句话总结

本文提出了一种紧凑且高效的循环神经网络架构——块-项RNN（BT-RNN），该架构利用块-项张量分解技术，显著减少了模型参数量，同时提升了训练效率和性能。通过用低秩张量结构替换密集的输入-隐藏权重重矩阵，BT-LSTM在UCF11动作识别数据集上的参数量相比标准LSTM减少了17,388倍，且准确率提升了超过15.6%。

ABSTRACT

Recurrent Neural Networks (RNNs) are powerful sequence modeling tools. However, when dealing with high dimensional inputs, the training of RNNs becomes computational expensive due to the large number of model parameters. This hinders RNNs from solving many important computer vision tasks, such as Action Recognition in Videos and Image Captioning. To overcome this problem, we propose a compact and flexible structure, namely Block-Term tensor decomposition, which greatly reduces the parameters of RNNs and improves their training efficiency. Compared with alternative low-rank approximations, such as tensor-train RNN (TT-RNN), our method, Block-Term RNN (BT-RNN), is not only more concise (when using the same rank), but also able to attain a better approximation to the original RNNs with much fewer parameters. On three challenging tasks, including Action Recognition in Videos, Image Captioning and Image Generation, BT-RNN outperforms TT-RNN and the standard RNN in terms of both prediction accuracy and convergence rate. Specifically, BT-LSTM utilizes 17,388 times fewer parameters than the standard LSTM to achieve an accuracy improvement over 15.6\% in the Action Recognition task on the UCF11 dataset.

研究动机与目标

• 解决在处理高维输入（尤其是视频和图像序列任务）时RNN存在的高计算成本和参数爆炸问题。
• 通过用结构化低秩张量分解替代标准LSTM中的密集全连接操作，克服其效率低下的问题。
• 开发一种更参数高效且准确的RNN架构，在序列建模任务中保持或提升性能。
• 通过张量分解隐式剪枝冗余连接，实现更快的训练速度和更好的泛化能力。

提出的方法

• 应用块-项张量分解（BTD）将LSTM的输入-隐藏权重矩阵（W*）分解为多个低秩Tucker分量之和，从而减少参数量。
• 将输入向量xt和权重矩阵W*表示为高阶张量，以挖掘潜在的空间和特征相关性。
• 使用BTD层在训练过程中学习参数间的相关性，自动剪枝冗余的密集连接。
• 将BTD层集成到LSTM单元中，形成BT-LSTM，用紧凑的基于张量的运算替代标准的矩阵-向量乘法W*·xt。
• 使用标准反向传播进行模型优化，梯度通过BTD分解计算，保持端到端可微性。
• 通过三个超参数控制模型容量：核心阶数（d）、Tucker秩（R）和CP秩（N），实现准确率与效率之间的灵活权衡。

实验结果

研究问题

• RQ1 块-项张量分解是否能在不损失性能的前提下有效减少RNN中的参数数量？
• RQ2 与现有的低秩RNN（如TT-RNN）相比，BT-RNN在参数效率和近似精度方面表现如何？
• RQ3 所提出的BT-LSTM架构是否在动作识别和图像字幕等序列建模任务中实现了更快的收敛速度和更高的准确率？
• RQ4 关键超参数（d, R, N）对模型性能和参数数量的影响是什么？

主要发现

• 在UCF11动作识别数据集上，BT-LSTM相比标准LSTM将参数量最多减少了17,388倍。
• 在UCF11数据集上，BT-LSTM在使用远少参数的情况下，准确率相比标准LSTM提升了超过15.6%。
• 在三个任务（动作识别、图像字幕、图像生成）中，BT-LSTM在预测准确率和收敛速度方面均优于标准LSTM和TT-RNN。
• 敏感性分析表明，Tucker秩（R）对模型性能具有指数级影响，而当R较小时，CP秩（N）能提升模型鲁棒性。
• 当核心阶数（d）超过某一临界值后，会损失空间信息并降低重建质量，表明d存在一个最优范围。
• BTD-based模型在捕捉图像特征中的局部相关性方面优于标准LSTM，这一点通过改进的图像字幕质量和可视化权重矩阵得到验证。