[论文解读] Hessian-free Optimization for Learning Deep Multidimensional Recurrent Neural Networks

Minhyung Cho, Chandra Dhir+1 more|arXiv (Cornell University)|Sep 11, 2015

Neural Networks and Applications参考文献 12被引用 4

一句话总结

该论文提出使用Hessian-free（HF）优化方法训练深度多维循环神经网络（MDRNNs）并结合连接时分类（CTC），通过凸近似方法克服CTC的非凸性。该方法成功实现了高达15层的MDRNN训练，在离线手写识别和音素识别任务中达到最先进性能，相较于SGD在深层网络中显著提升了准确率。

ABSTRACT

Multidimensional recurrent neural networks (MDRNNs) have shown a remarkable performance in the area of speech and handwriting recognition. The performance of an MDRNN is improved by further increasing its depth, and the difficulty of learning the deeper network is overcome by using Hessian-free (HF) optimization. Given that connectionist temporal classification (CTC) is utilized as an objective of learning an MDRNN for sequence labeling, the non-convexity of CTC poses a problem when applying HF to the network. As a solution, a convex approximation of CTC is formulated and its relationship with the EM algorithm and the Fisher information matrix is discussed. An MDRNN up to a depth of 15 layers is successfully trained using HF, resulting in an improved performance for sequence labeling.

研究动机与目标

• 为了实现超过5层的深度MDRNN训练，突破以往方法的限制。
• 为解决在序列标注任务中将Hessian-free优化应用于非凸CTC损失的挑战。
• 开发一种与HF优化兼容的CTC凸近似方法，并与EM算法和Fisher信息矩阵建立联系。
• 通过实证验证HF优化在深度MDRNN序列识别任务中的有效性。
• 证明使用HF优化训练的更深MDRNN模型优于浅层模型和SGD基线模型。

提出的方法

• 对非凸的CTC目标函数构建凸近似，以支持Hessian-free优化。
• 在HF优化中使用共轭梯度法，迭代最小化损失的局部二次近似。
• 将凸CTC近似与Hessian-free框架集成，确保与二阶优化方法兼容。
• 将该方法应用于具有LSTM单元的MDRNN，堆叠最多15层以实现更深层次的上下文建模。
• 采用保守的停止准则和权重裁剪，以确保训练过程的收敛稳定性。
• 在手写识别和音素识别数据集上，对多种深度设置下的HF优化与SGD进行对比。

实验结果

研究问题

• RQ1 尽管CTC损失具有非凸性，Hessian-free优化是否能成功应用于训练深度MDRNN？
• RQ2 所提出的CTC凸近似与EM算法及Fisher信息矩阵之间有何关系？
• RQ3 当使用HF优化时，将MDRNN的深度增加到5层以上是否能带来性能提升？
• RQ4 在深度MDRNN中，HF优化与SGD在性能和收敛性方面相比如何？
• RQ5 在序列标注任务中，使用HF优化训练时，MDRNN的最优深度和网络结构是什么？

主要发现

• 使用Hessian-free优化训练的15层MDRNN在阿拉伯文离线手写识别任务中达到5.69%的标签错误率，显著优于SGD。
• 在TIMIT数据集的音素识别任务中，HF优化的15层MDRNN达到18.54%的音素错误率，与以往浅层网络的最先进结果相当。
• 随着网络深度的增加，HF与SGD之间的性能差距扩大，表明HF在深层MDRNN中尤为有效。
• 所提出的CTC凸近似被证明在理论上与EM算法和Fisher信息矩阵存在联系，支持其有效性。
• 该方法实现了高达15层MDRNN的稳定训练，表明结合HF优化后，更深的网络架构是可行且有益的。
• 在手写识别任务中，HF优化下错误率从3层时的6.10%降至13层时的4.50%，凸显了在HF优化下深度带来的优势。