[论文解读] A recurrent neural network without chaos

Thomas Laurent, James von Brecht|arXiv (Cornell University)|Dec 19, 2016

Topic Modeling参考文献 11被引用 23

一句话总结

本文提出了一种新颖且极简的循环神经网络——混沌自由网络（Chaos-Free Network, CFN），其采用简单的门控机制，结合遗忘门与输入门，在词级语言建模任务中实现了与LSTM和GRU相当的性能。尽管结构简单，CFN表现出非混沌、可预测的动力学行为，与标准RNN中常见的复杂混沌行为形成鲜明对比，表明在序列任务中实现强性能并不需要混沌动力学。

ABSTRACT

We introduce an exceptionally simple gated recurrent neural network (RNN) that achieves performance comparable to well-known gated architectures, such as LSTMs and GRUs, on the word-level language modeling task. We prove that our model has simple, predicable and non-chaotic dynamics. This stands in stark contrast to more standard gated architectures, whose underlying dynamical systems exhibit chaotic behavior.

研究动机与目标

• 开发一种具有简单、可预测且非混沌动力学的循环神经网络，同时在序列任务中实现优异性能。
• 挑战RNN中混沌或复杂动力学行为对有效序列建模至关重要的既有假设。
• 为标准门控RNN（如LSTM和GRU）提供一种数学上可处理的替代方案，后者即使在无输入时也表现出混沌行为。
• 探究架构简洁性与可解释性是否可与序列建模中的高性能共存。

提出的方法

• CFN采用门控递推机制，定义为 $ h_t = \theta_t \odot \tanh(h_{t-1}) + \eta_t \odot \tanh(Wx_t) $，其中 $ \theta_t $ 和 $ \eta_t $ 为Sigmoid门控更新门。
• 遗忘门 $ \theta_t $ 计算为 $ \sigma(U_\theta h_{t-1} + V_\theta x_t + b_\theta) $，输入门 $ \eta_t $ 计算为 $ \sigma(U_\eta h_{t-1} + V_\eta x_t + b_\eta) $，标准化了门控机制。
• 通过动力系统理论对模型进行分析，重点关注零输入下的自治系统 $ \mathfrak{u}_t = \Phi(\mathfrak{u}_{t-1}) $，以评估其内在动力学。
• 理论分析证明，CFN的动力系统仅以零状态为吸引子，无论参数设置如何，均确认其非混沌行为。
• 在Penn Treebank和Text8数据集上进行实验，采用含dropout与不含dropout的设置，与LSTM和GRU进行性能对比。
• 网络采用零初始化隐藏状态，并使用精心调校的学习率调度策略，以确保公平比较。

实验结果

研究问题

• RQ1 能否设计一种具有非混沌、可预测动力学的循环神经网络，在词级语言建模任务中实现与LSTM和GRU相当的性能？
• RQ2 标准RNN（如LSTM和GRU）中混沌动力学的存在，是否对建模序列数据中的长期依赖关系是必要的？
• RQ3 在无输入条件下，所提出的CFN的隐藏状态动力学与标准门控RNN有何不同？
• RQ4 架构简洁性与数学可处理性是否可与序列建模中的高性能共存？

主要发现

• 在2000万参数配置下，CFN在Penn Treebank数据集上的测试困惑度为74.9，与相同条件下的LSTM（74.3）非常接近。
• 在5000万参数配置下，CFN的测试困惑度为72.2，略低于更大规模LSTM的71.8，但仍表现出强劲性能。
• 理论分析确认，CFN的动力系统为非混沌系统，其唯一吸引子为零状态，且在所有参数设置下均成立。
• 相比之下，标准LSTM和GRU即使在无输入时也表现出混沌动力学，导致隐藏状态轨迹不可预测且不规则。
• CFN的动力学具有可解释性：隐藏单元在响应瞬态输入后，会按遗忘门的控制可预测地衰减。
• 结果表明，复杂且混沌的动力学并非有效序列建模的先决条件，挑战了当前认为此类动力学可实现长期记忆的普遍假设。