[论文解读] Adaptive Computation Time for Recurrent Neural Networks

Alex Graves|arXiv (Cornell University)|Mar 29, 2016

Topic Modeling参考文献 32被引用 361

一句话总结

论文介绍了 Adaptive Computation Time (ACT)，使 RNN 能学习每个输入执行多少次计算步骤，从而在若干合成任务上提升性能，并在语言建模中提供见解。ACT 通过一个可微分的停顿机制和全局时间惩罚将计算适应化。

ABSTRACT

This paper introduces Adaptive Computation Time (ACT), an algorithm that allows recurrent neural networks to learn how many computational steps to take between receiving an input and emitting an output. ACT requires minimal changes to the network architecture, is deterministic and differentiable, and does not add any noise to the parameter gradients. Experimental results are provided for four synthetic problems: determining the parity of binary vectors, applying binary logic operations, adding integers, and sorting real numbers. Overall, performance is dramatically improved by the use of ACT, which successfully adapts the number of computational steps to the requirements of the problem. We also present character-level language modelling results on the Hutter prize Wikipedia dataset. In this case ACT does not yield large gains in performance; however it does provide intriguing insight into the structure of the data, with more computation allocated to harder-to-predict transitions, such as spaces between words and ends of sentences. This suggests that ACT or other adaptive computation methods could provide a generic method for inferring segment boundaries in sequence data.

研究动机与目标

• 使循环网络能够在每个输入步骤动态改变内部更新次数。
• 引入一个可微分的停顿机制以确定计算深度。
• 通过在损失中加入时间惩罚来鼓励高效计算。
• 在奇偶性、逻辑、加法、排序和维基百科字符预测任务上演示 ACT。

提出的方法

• 在 RNN 中增加一个 sigmoidal 停顿单元，以在每个输入步骤决定何时停止计算。
• 使用相同状态转移 S 计算中间状态 s_t^n 和输出 y_t^n，n = 1..N(t)。
• 从停顿激活中定义停顿概率 p_t^n，并确保它们形成一个和为 1 的有效分布。
• 使用均值场更新 s_t = sum_n p_t^n s_t^n 和 y_t = sum_n p_t^n y_t^n 以避免采样噪声。
• 在损失中加入 ponder 成本 P(x) = sum_t rho_t，与 rho_t = N(t) + R(t)，并记作 L_hat = L + tau P(x)。
• 推导停顿单元的梯度并进行带有 ACT 特定梯度的反向传播Through Time，设定最大更新次数 M 和停顿阈值 epsilon 的限制。

实验结果

研究问题

• RQ1 ACT 是否在需要序列处理的任务（奇偶性、逻辑、加法、排序）上改进序列学习性能，相较于标准 RNN/LSTM？
• RQ2 时间惩罚参数 tau 如何影响不同任务中的学习到的计算时间和准确性？
• RQ3 ACT 是否能在序列数据中（如自然语言文本）揭示可解释的计算模式或边界？
• RQ4 在使用 ACT 时，不同任务的计算时间与准确性之间有哪些权衡？
• RQ5 ACT 是否能够促进或阻碍更长序列中内部状态在时间上的一致性学习？

主要发现

• ACT 使能的网络相比固定计算基线在合成序列任务上显著降低错误率。
• 较低的时间惩罚值（更多思考）通常在奇偶性和逻辑问题上获得更快且更准确的解，且在不同运行中呈现多样的 ponder 时间。
• 在加法任务上，ACT 网络对所有 tau 值都达到了完美准确度，并且 ponder 时间与数字位数近线性相关。
• 在排序任务上，ACT 提供了显著的误差减少，但代价较高，ponder 时间随序列长度呈非线性且更强的增加。
• 字符级维基百科预测显示总体准确度提升有限，但 ACT 揭示了在单词边界和标点处的系统性暂停，表明计算时间推断出边界。
• 在所有任务中，tau、ponder 时间和准确性之间的关系因任务而异，ACT 提供了可解释的计算密度和时序模式。