[论文解读] Approximating Stacked and Bidirectional Recurrent Architectures with the Delayed Recurrent Neural Network

Javier S. Turek, Shailee Jain+4 more|arXiv (Cornell University)|Aug 30, 2019

Manufacturing Process and Optimization被引用 6

一句话总结

本文提出了延迟循环神经网络（d-RNN），一种在输入与输出之间具有时间延迟的单层RNN，用于近似堆叠式和双向RNN架构。证明了在权重约束下，d-RNN等价于堆叠式RNN，并通过合成数据和真实世界NLP任务的实验证明，d-RNN在保持更快推理速度的同时，性能可与双向和堆叠式网络相媲美，得益于其更简单的拓扑结构。

ABSTRACT

Recent work has shown that topological enhancements to recurrent neural networks (RNNs) can increase their expressiveness and representational capacity. Two popular enhancements are stacked RNNs, which increases the capacity for learning non-linear functions, and bidirectional processing, which exploits acausal information in a sequence. In this work, we explore the delayed-RNN, which is a single-layer RNN that has a delay between the input and output. We prove that a weight-constrained version of the delayed-RNN is equivalent to a stacked-RNN. We also show that the delay gives rise to partial acausality, much like bidirectional networks. Synthetic experiments confirm that the delayed-RNN can mimic bidirectional networks, solving some acausal tasks similarly, and outperforming them in others. Moreover, we show similar performance to bidirectional networks in a real-world natural language processing task. These results suggest that delayed-RNNs can approximate topologies including stacked RNNs, bidirectional RNNs, and stacked bidirectional RNNs - but with equivalent or faster runtimes for the delayed-RNNs.

研究动机与目标

• 探索是否通过在单层RNN中引入输出延迟这一简单架构修改，可以近似深层和双向RNN的表征能力。
• 研究延迟是否引入部分非因果性，使模型能够像双向网络一样访问未来上下文。
• 评估d-RNN在合成和真实世界序列任务中是否能匹配或超越堆叠式和双向RNN的性能。
• 证明d-RNN由于其更简单的架构，可在实现相当或更优性能的同时，获得更快的推理速度。

提出的方法

• d-RNN被定义为单层RNN，其在时间t的输出使用延迟的隐藏状态计算，即 $\mathbf{y}_t = g(\mathbf{W}_o \mathbf{h}_{t-d} + \mathbf{b}_o) $，其中d为延迟值。
• 论文证明，具有稀疏权重的d-RNN（权重受限）在数学上等价于堆叠式RNN，为模型的表达能力提供了理论基础。
• 该模型利用延迟实现部分非因果处理，使隐藏状态能够间接地结合过去和未来的输入信息。
• 通过合成实验评估d-RNN解决需要非因果依赖关系的任务的能力，例如依赖未来上下文的模式检测。
• 在真实世界任务中，对基于LSTM和非LSTM变体的d-RNN进行了词性标注和字符级语言建模的评估。
• 在多个延迟值和网络配置下，将性能与标准堆叠式RNN、双向RNN及其LSTM对应模型进行比较。

实验结果

研究问题

• RQ1 在权重约束下，单层延迟RNN是否能近似堆叠式RNN的表征能力？
• RQ2 在单层RNN的输出中引入延迟，是否能实现部分非因果处理，从而模仿双向RNN的行为？
• RQ3 在需要访问未来上下文的任务中，d-RNN的性能与双向和堆叠式RNN相比如何？
• RQ4 d-RNN是否能在保持更快推理速度的同时，在真实世界NLP任务中实现具有竞争力的性能？
• RQ5 在d-RNN架构中，平衡性能与效率的最优延迟值是多少？

主要发现

• 具有权重约束的d-RNN在理论上等价于堆叠式RNN，建立了延迟与循环网络深度之间的正式联系。
• 合成实验表明，d-RNN能够以与双向网络相似的方式解决非因果任务，且在某些情况下表现更优，这是由于其通过延迟能够访问未来上下文。
• 在法语词性标注任务中，延迟=1的d-LSTM达到94.57%的测试准确率，与最佳性能的Bi-LSTM（94.99%）相当，并优于标准LSTM（92.14%）。
• 在字符级语言建模任务中，延迟=1的d-LSTM达到97.04%的测试准确率，与Bi-LSTM（97.22%）非常接近，并优于标准LSTM（96.10%）。
• d-RNN在多个基准测试中始终实现与双向和堆叠式RNN相当或更优的性能，同时由于其更简单的单层结构，推理速度更快。
• 延迟=1的d-RNN在性能与效率之间达到最佳平衡，优于更高延迟的变体，可作为序列建模的强有力基线。