[论文解读] A New Method for Learning Deep Recurrent Neural Networks

Jianshu Chen, Li Deng|arXiv (Cornell University)|Jan 1, 2013

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种新颖的RNN架构，结合深度神经网络（DNN）作为特征提取器，并同时采用因果时间预测（AR）与非因果前瞻（MA）机制以提升序列建模性能。该方法提出了一种原始-对偶训练策略，将RNN学习问题形式化为带不等式约束的优化问题，以确保网络稳定性，最终在TIMIT数据集上实现了18.86%的语音识别错误率，接近使用LSTM实现的SOTA结果（17.7%）。

ABSTRACT

We present an architecture of a recurrent neural network (RNN) with a fully-connected deep neural network (DNN) as its feature extractor. The RNN is equipped with both causal temporal prediction and non-causal look-ahead, via auto-regression (AR) and moving-average (MA), respectively. The focus of this paper is a primal-dual training method that formulates the learning of the RNN as a formal optimization problem with an inequality constraint that provides a sufficient condition for the stability of the network dynamics. Experimental results demonstrate the effectiveness of this new method, which achieves 18.86% phone recognition error on the TIMIT benchmark for the core test set. The result approaches the best result of 17.7%, which was obtained by using RNN with long short-term memory (LSTM). The results also show that the proposed primal-dual training method produces lower recognition errors than the popular RNN methods developed earlier based on the carefully tuned threshold parameter that heuristically prevents the gradient from exploding.

研究动机与目标

• 解决循环神经网络训练过程中梯度爆炸与不稳定性问题。
• 通过结合因果（AR）与非因果（MA）时间依赖关系，提升序列建模能力。
• 为RNN训练构建一个带有稳定性约束的正式优化框架。
• 在基准语音识别任务上实现与LSTM相媲美性能。

提出的方法

• RNN架构使用全连接深度神经网络（DNN）作为输入序列的特征提取器。
• 通过自回归（AR）与移动平均（MA）组件增强时间建模，分别实现因果与非因果处理。
• 构建原始-对偶优化框架，以不等式约束条件训练RNN，确保网络动态稳定性。
• 该不等式约束作为稳定性充分条件，源自正式优化理论。
• 通过将稳定性直接嵌入优化目标，避免了启发式阈值调参。
• 训练过程采用原始-对偶算法，联合优化网络权重与与稳定性约束相关的对偶变量。

实验结果

研究问题

• RQ1 带有稳定性约束的正式优化框架是否能提升RNN训练的稳定性和性能？
• RQ2 结合AR与MA组件是否能超越标准RNN，在序列建模上实现更优表现？
• RQ3 所提出的原始-对偶方法是否能在RNN训练中优于启发式梯度裁剪或阈值调参？
• RQ4 采用该方法的标准RNN在语音识别任务上能多接近LSTM的性能水平？
• RQ5 稳定性约束能否在端到端训练中有效集成，而不损害收敛性或准确性？

主要发现

• 所提方法在TIMIT核心测试集上实现了18.86%的语音识别错误率。
• 该结果接近LSTM网络实现的SOTA性能（17.7%）。
• 与早期依赖启发式阈值调参防止梯度爆炸的RNN方法相比，本方法产生更低的识别错误率。
• 原始-对偶训练框架通过正式的不等式约束，成功实现了网络稳定性。
• AR与MA组件的集成使得因果与非因果时间依赖关系得到有效建模。
• 该方法表明，稳定性可直接嵌入优化过程，从而减少对经验性超参数调优的依赖。