[论文解读] Dilated Recurrent Neural Networks

Shiyu Chang, Yang Zhang+8 more|arXiv (Cornell University)|Oct 5, 2017

Advanced Neural Network Applications被引用 119

一句话总结

Introduces DilatedRNN, a multi-layer recurrent architecture with dilated skip connections and exponentially increasing dilations to capture long-range dependencies with fewer parameters and faster training; provides theoretical memory capacity analysis and empirical validation across multiple tasks.

ABSTRACT

Learning with recurrent neural networks (RNNs) on long sequences is a notoriously difficult task. There are three major challenges: 1) complex dependencies, 2) vanishing and exploding gradients, and 3) efficient parallelization. In this paper, we introduce a simple yet effective RNN connection structure, the DilatedRNN, which simultaneously tackles all of these challenges. The proposed architecture is characterized by multi-resolution dilated recurrent skip connections and can be combined flexibly with diverse RNN cells. Moreover, the DilatedRNN reduces the number of parameters needed and enhances training efficiency significantly, while matching state-of-the-art performance (even with standard RNN cells) in tasks involving very long-term dependencies. To provide a theory-based quantification of the architecture's advantages, we introduce a memory capacity measure, the mean recurrent length, which is more suitable for RNNs with long skip connections than existing measures. We rigorously prove the advantages of the DilatedRNN over other recurrent neural architectures. The code for our method is publicly available at https://github.com/code-terminator/DilatedRNN

研究动机与目标

• 解决RNN在学习长序列时面临的挑战，包括复杂依赖、梯度消失/梯度爆炸以及训练效率低下。
• 提出一种扩张循环结构，降低参数数量并实现并行计算。
• 提供基于理论的内存容量度量并证明相对于其他循环结构的优势。
• 在长期记忆、逐像素MNIST、字符级语言建模和原始波形说话人识别等任务上对DilatedRNN进行经验验证。

提出的方法

• 引入扩张循环跳跃连接 c_t^(l) = f(x_t^(l), c_{t-s^(l)}^(l))，从而移除直接的 c_{t-1}^(l) 依赖。
• 堆叠多个扩张循环层，采用指数增加的扩张 s^(l) = M^{l-1} 以形成 DilatedRNN。
• 通过从 M^{l0} 开始扩张并可选地添加一个 1-by-M^{l0} 的卷积性最终层来弥补缺失的依赖，广义化 DilatedRNN。
• 定义并使用 mean recurrent length 作为内存容量度量，以评估跨时间跨度的信息流。
• 通过每个节点的循环边数量来比较参数效率，并证明在 N_r = 1 的约束下 DilatedRNN 最小化 mean recurrent length。
• 讨论与 dilated CNNs 和 Clockwork RNNs 的关系，以突出内存容量和效率方面的优势。

实验结果

研究问题

• RQ1 与标准RNN和 dilated CNNs 相比，DilatedRNN 架构是否在长序列上提高了记忆容量和训练效率？
• RQ2 指数级增加的扩张是否能够在保持参数效率的同时提供多尺度的时间建模？
• RQ3 mean recurrent length 如何量化 DilatedRNN 相对于其他架构在跨时间跨度的记忆容量？
• RQ4 在长期记忆、逐像素 MNIST、语言建模和原始波形说话人识别等任务上，DilatedRNN 实现了哪些经验上的提升？

主要发现

• DilatedRNN 在保持与最先进性能相当的同时，减少参数数量并提升训练效率，适用于长序列任务。
• 在长期记忆和嘈杂序列任务中，DilatedRNN 相较于 vanilla RNN、LSTM 和 GRU 展现出显著改进。
• 跨层的指数扩张使多尺度时间学习成为可能，并提升捕捉长程依赖的能力。
• 所提出的 mean recurrent length 提供了一个理论上有依据的内存容量度量，并显示在相似参数预算下，DilatedRNN 的内存效率优于常规跳跃RNN。
• 相比扩张CNN，DilatedRNN 由于真实的循环连接，在感受野之外具有更好的记忆能力，能够实现更长的记忆。
• 在 copy memory、MNIST pixel-by-pixel 分类、Penn Treebank 语言建模、VCTK 说话人识别等任务中，DilatedRNN 的变体通常在参数显著更少的情况下超越或接近基线。