[论文解读] Capacity and Trainability in Recurrent Neural Networks

Jasmine Collins, Jascha Sohl‐Dickstein+1 more|arXiv (Cornell University)|Nov 29, 2016

Neural Networks and Applications被引用 82

一句话总结

本文研究了循环神经网络（RNNs）的容量与可训练性，发现所有常见的RNN架构——基础RNN、LSTM、GRU以及新型变体——在最优训练下均达到几乎相同的每参数和每单元容量极限。主要贡献在于：任务容量约为每参数5比特，输入历史记忆约为每隐藏单元一个实数，各架构间的性能差异主要源于可训练性，而非容量本身。

ABSTRACT

Two potential bottlenecks on the expressiveness of recurrent neural networks (RNNs) are their ability to store information about the task in their parameters, and to store information about the input history in their units. We show experimentally that all common RNN architectures achieve nearly the same per-task and per-unit capacity bounds with careful training, for a variety of tasks and stacking depths. They can store an amount of task information which is linear in the number of parameters, and is approximately 5 bits per parameter. They can additionally store approximately one real number from their input history per hidden unit. We further find that for several tasks it is the per-task parameter capacity bound that determines performance. These results suggest that many previous results comparing RNN architectures are driven primarily by differences in training effectiveness, rather than differences in capacity. Supporting this observation, we compare training difficulty for several architectures, and show that vanilla RNNs are far more difficult to train, yet have slightly higher capacity. Finally, we propose two novel RNN architectures, one of which is easier to train than the LSTM or GRU for deeply stacked architectures.

研究动机与目标

• 探究不同RNN架构在性能上的差异是否源于固有的容量限制，还是训练难度所致。
• 量化循环网络在其参数中可存储的任务相关信息的最大量，以及在其隐藏单元中可存储的输入历史信息量。
• 确定门控RNN（如LSTM、GRU）是否在计算或内存容量方面优于基础RNN。
• 评估深层RNN架构中模型容量与可训练性之间的权衡。
• 提出并评估两种新型RNN架构——UGRNN与+RNN——旨在提升可训练性与可扩展性。

提出的方法

• 使用基于高斯过程的贝叶斯超参数调优器，在多个RNN架构和任务上进行训练优化，历经数百至数千次试验以最小化验证损失。
• 在不同架构间固定参数数量，以隔离架构对性能的影响，同时改变深度（1、2、4、8）以评估可扩展性。
• 设计了两种新型RNN架构：UGRNN（一种仅含单一耦合门的极简门控RNN），以及+RNN（一种将门控机制扩展至深度维度的门控架构）。
• 通过受控任务开展容量实验，测量每参数的任务记忆能力与每单元的输入历史记忆能力。
• 在高难度任务上进行可训练性对比，以检验门控模型是否可能优于基础RNN。
• 通过在最佳超参数下重复100次训练运行，验证结果的稳定性并避免陷入局部极小值。

实验结果

研究问题

• RQ1 RNN每参数最多能存储多少与任务相关的信息？该容量在不同架构间是否存在显著差异？
• RQ2 RNN每隐藏单元最多能存储多少关于输入历史的信息？该容量是否显著影响其在通用任务上的性能？
• RQ3 不同RNN架构间的性能差异在多大程度上源于可训练性差异，而非固有能力差异？
• RQ4 门控RNN（如LSTM、GRU）在执行复杂数学运算（如乘法）方面是否相对于基础RNN具有计算优势？
• RQ5 新型RNN架构（如UGRNN、+RNN）是否能实现更好的可训练性与性能，尤其是在深层架构中？

主要发现

• 所有RNN架构在最优训练下均达到几乎相同的每参数容量，每参数存储约5比特任务信息。
• RNN可每隐藏单元存储约一个实数的输入历史信息，但该容量对通用任务性能无显著影响。
• 各架构间的性能差异主要源于可训练性而非容量；基础RNN虽更难训练，但理论容量略高。
• UGRNN与+RNN架构被发现比LSTM或GRU更易训练，尤其在深层架构中；+RNN在更深设置中表现最佳。
• 在浅层架构中，GRU是门控RNN中可训练性最强的模型，而LSTM虽稳定可靠，却极少在实验中表现最佳。
• 实证得出的每参数5比特容量与生物突触容量（每突触约4.7比特）高度吻合，提示神经网络中信息存储存在根本性限制。