[论文解读] Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

Jun‐Young Chung, Çaǧlar Gülçehre+2 more|arXiv (Cornell University)|Dec 11, 2014

Music and Audio Processing参考文献 16被引用 10,749

一句话总结

本文比较 LSTM、GRU 和 tanh RNN 单元在序列建模任务上的表现，结果显示门控单元优于 tanh，且 GRU 在不同数据集上常常达到与或超过 LSTM 的水平，具体取决于数据集。

ABSTRACT

In this paper we compare different types of recurrent units in recurrent neural networks (RNNs). Especially, we focus on more sophisticated units that implement a gating mechanism, such as a long short-term memory (LSTM) unit and a recently proposed gated recurrent unit (GRU). We evaluate these recurrent units on the tasks of polyphonic music modeling and speech signal modeling. Our experiments revealed that these advanced recurrent units are indeed better than more traditional recurrent units such as tanh units. Also, we found GRU to be comparable to LSTM.

研究动机与目标

• 推动对门控递归单元（LSTM 和 GRU）与传统 tanh 单元在序列建模中的评估。
• 评估门控是否在音乐和语音数据集上提升性能、收敛速度和泛化能力。
• 通过在不同单元类型之间匹配模型参数数量并报告训练动态，提供公平比较。

提出的方法

• 描述并实现三种递归单元：LSTM、GRU 和 tanh RNN。
• 在多声部音乐数据集（Nottingham、JSB Chorales、MuseData、Piano-midi）和 Ubisoft 语音数据集（A 和 B）上应用。
• 音乐模型使用逻辑 sigmoid 输出，语音模型使用高斯混合输出。
• 通过在模型之间使用可比的参数数量并应用 RMSProp、权重噪声和梯度裁剪来控制过拟合。
• 使用训练集和测试集的负对数似然进行评估，并通过学习曲线分析收敛情况。

实验结果

研究问题

• RQ1 门控单元（LSTM 和 GRU）在序列建模任务中是否优于传统的 tanh 单元？
• RQ2 在 LSTM 与 GRU 之间，哪一种门控单元在各数据集上表现更好、收敛更快、泛化更强？
• RQ3 这些单元在多声部音乐建模与原始语音信号建模中的对比如何？
• RQ4 在模型规模匹配的公平比较下，GRU 是否与 LSTM 具有竞争力？

主要发现

• 门控单元在音乐和语音数据集上均优于 tanh RNN。
• GRU 在若干音乐数据集上常常优于 LSTM，且训练收敛更快。
• 在 Ubisoft 语音数据集上，LSTM 与 GRU 均优于 tanh，其中 LSTM 在 Ubisoft A 上表现最佳，GRU 在 Ubisoft B 上表现最佳。
• 在音乐数据集上，GRU 的收敛速度（更新次数和 CPU 时间）快于 LSTM，而 tanh 在 Ubisoft 数据集上学习进展有限，表现较差。
• 研究不能就 LSTM 和 GRU 给出一致的胜者结论；效果似乎取决于数据集。