[论文解读] Cells in Multidimensional Recurrent Neural Networks

Gundram Leifert, Tobias Strauß+2 more|arXiv (Cornell University)|Dec 8, 2014

Neural Networks and Applications参考文献 6被引用 7

一句话总结

本文提出了一种新型多维循环神经网络（MDRNN）单元——基于LSTM架构衍生而来——可提升高维环境下的稳定性与长期依赖学习能力。通过利用线性时不变系统理论，作者设计了五种新型单元类型，其中LeakyLP单元在IFN/ENIT和RIMES数据集上实现了更优的手写识别性能，优于标准LSTM单元。

ABSTRACT

The transcription of handwritten text on images is one task in machine learning and one solution to solve it is using multi-dimensional recurrent neural networks (MDRNN) with connectionist temporal classification (CTC). The RNNs can contain special units, the long short-term memory (LSTM) cells. They are able to learn long term dependencies but they get unstable when the dimension is chosen greater than one. We defined some useful and necessary properties for the one-dimensional LSTM cell and extend them in the multi-dimensional case. Thereby we introduce several new cells with better stability. We present a method to design cells using the theory of linear shift invariant systems. The new cells are compared to the LSTM cell on the IFN/ENIT and Rimes database, where we can improve the recognition rate compared to the LSTM cell. So each application where the LSTM cells in MDRNNs are used could be improved by substituting them by the new developed cells.

研究动机与目标

• 解决在超过一维的多维LSTM（MDLSTM）单元中出现的不稳定性和梯度消失问题。
• 定义用于在循环单元中实现稳定长期依赖学习的基本属性。
• 设计新型MDRNN单元架构，确保在高维空间中长期记忆不发生梯度爆炸。
• 通过用新型更稳定单元替代标准LSTM单元，提升手写识别任务中的识别准确率。

提出的方法

• 定义一维LSTM单元的两个核心属性——稳定长期依赖与有界梯度传播——并将其推广至多维情形。
• 修改MD LSTM架构，通过可学习的凸组合方式分离内部状态增长，防止梯度爆炸。
• 应用线性时不变系统理论与频域分析，推导出MDRNN单元设计的一般性框架。
• 基于系统理论原则，重新配置门控机制与状态更新规则，构建五种新型单元类型（如LeakyLP、Type E）。
• 在手写识别任务中，采用连接主义时序分类（CTC）进行序列建模。
• 在IFN/ENIT和RIMES数据集上训练并评估采用新单元的MDRNN，与标准LSTM单元进行性能对比。

实验结果

研究问题

• RQ1 在多维RNN中，何种属性是循环单元维持稳定长期依赖所必需的？
• RQ2 为何标准MD LSTM单元在维度大于一的情况下变得不稳定？
• RQ3 如何利用线性系统理论设计更稳定、更高效的MDRNN单元？
• RQ4 与标准LSTM单元相比，新型单元架构能否提升手写识别任务中的识别准确率？
• RQ5 在多维序列建模中，所提出的哪种单元类型表现最佳？

主要发现

• LeakyLP单元在IFN/ENIT和RIMES两个数据集上均达到最高的识别准确率，优于标准LSTM单元。
• 在IFN/ENIT数据集上，新单元相比基线LSTM单元降低了错误率，表明泛化能力得到提升。
• 在RIMES数据集上，新单元实现了低于标准LSTM的词错误率，证实了性能的持续提升。
• 理论分析表明，新单元可维持稳定的梯度传播，在多维设置下避免梯度爆炸。
• 频响分析显示，新单元可模拟经典控制系统（如PI、PD、PID），具备可解释性与稳定性。
• 所提出的方法可设计出稳定且高性能的MDRNN单元，不仅适用于手写识别，还可推广至其他序列建模任务。