[论文解读] Feedforward Sequential Memory Networks: A New Structure to Learn Long-term Dependency

Shiliang Zhang, Cong Liu+4 more|arXiv (Cornell University)|Dec 28, 2015

Neural Networks and Applications参考文献 38被引用 68

一句话总结

本文提出前馈序列记忆网络（FSMN），一种使用延迟抽头线（tapped-delay line）结构的可学习记忆模块的前馈神经网络，能够将长上下文信息编码为固定大小的表示，从而在无需循环反馈的情况下高效建模长期依赖关系。FSMN在语音识别和语言建模任务中优于RNN和LSTM，实现更快的收敛速度，并在基准任务上达到最先进性能。

ABSTRACT

In this paper, we propose a novel neural network structure, namely \emph{feedforward sequential memory networks (FSMN)}, to model long-term dependency in time series without using recurrent feedback. The proposed FSMN is a standard fully-connected feedforward neural network equipped with some learnable memory blocks in its hidden layers. The memory blocks use a tapped-delay line structure to encode the long context information into a fixed-size representation as short-term memory mechanism. We have evaluated the proposed FSMNs in several standard benchmark tasks, including speech recognition and language modelling. Experimental results have shown FSMNs significantly outperform the conventional recurrent neural networks (RNN), including LSTMs, in modeling sequential signals like speech or language. Moreover, FSMNs can be learned much more reliably and faster than RNNs or LSTMs due to the inherent non-recurrent model structure.

研究动机与目标

• 解决循环神经网络（RNN）因梯度消失/爆炸及计算成本过高而导致难以学习长期依赖关系的问题。
• 开发一种无需循环反馈的前馈架构，以高效捕捉长上下文信息。
• 相比RNN和LSTM，提升训练速度与可靠性，同时在序列建模任务中保持或超越性能表现。
• 探究通过延迟抽头线结构实现的固定大小记忆表示在序列数据建模中的有效性。

提出的方法

• 提出前馈序列记忆网络（FSMN），一种在隐藏层中引入可学习记忆模块的全连接前馈网络。
• 在记忆模块中采用延迟抽头线结构，将长上下文编码为固定大小的表示，模拟短期记忆功能。
• 使用可学习系数的有限冲激响应（FIR）滤波器，建模序列输入中的时间依赖关系。
• 应用FSMN的标量和向量变体：标量FSMN每个模块使用单个滤波器，而向量化FSMN为每个输入维度学习独立滤波器。
• 使用标准反向传播训练模型，无需时间反向传播（BPTT），从而实现更快、更稳定的训练。
• 将FSMN模块集成到标准前馈网络中，用于语音识别和语言建模任务。

实验结果

研究问题

• RQ1 带有可学习记忆模块的前馈神经网络能否有效建模序列数据中的长期依赖关系？
• RQ2 在语音和语言任务中，FSMN在建模长期依赖关系方面与RNN和LSTM相比表现如何？
• RQ3 FSMN中缺乏循环反馈是否导致其相比RNN和LSTM实现更快、更稳定的训练？
• RQ4 标量与向量化FSMN变体在不同任务中的性能与学习滤波器行为有何差异？
• RQ5 所学习的FIR滤波器系数在多大程度上反映了自然语言或语音模式，例如更重视邻近上下文？

主要发现

• 在英语wiki9语言建模任务中，FSMN达到困惑度90，显著优于RNN-LM（112）和FOFE-LM（104）。
• 基于FSMN的语言模型约在5个周期内收敛，而RNN-LM需要超过15个周期，表明其训练速度快得多。
• 在PTB语言建模任务中，FSMN实现了最先进性能，且收敛更快、训练更稳定，优于RNN和LSTM。
• FSMN中学习到的FIR滤波器系数反映出自然语言特性，对邻近上下文赋予更高权重，随距离增加而递减。
• 在语言建模任务中，向量化和标量FSMN变体性能相近，因为各维度学习到的滤波器高度相似；而在语音识别任务中，向量化FSMN优于标量FSMN。
• 所提出的FSMN结构无需循环反馈即可实现有效的长上下文编码，是RNN和LSTM的可靠且高效替代方案。