[论文解读] Multi-cell LSTM Based Neural Language Model

Thomas Cherian, Akshay Badola+1 more|arXiv (Cornell University)|Nov 15, 2018

Topic Modeling参考文献 11被引用 4

一句话总结

本文提出一种多单元LSTM架构，通过在每个节点中引入多个记忆单元，并采用最大值或平均值等选择策略将多个记忆单元的输出合并为单一输出，从而增强标准LSTM。该方法在Penn Treebank数据集上实现了最先进性能，优于Zaremba等人提出的模型，收敛速度更快，困惑度更低。

ABSTRACT

Language models, being at the heart of many NLP problems, are always of great interest to researchers. Neural language models come with the advantage of distributed representations and long range contexts. With its particular dynamics that allow the cycling of information within the network, `Recurrent neural network' (RNN) becomes an ideal paradigm for neural language modeling. Long Short-Term Memory (LSTM) architecture solves the inadequacies of the standard RNN in modeling long-range contexts. In spite of a plethora of RNN variants, possibility to add multiple memory cells in LSTM nodes was seldom explored. Here we propose a multi-cell node architecture for LSTMs and study its applicability for neural language modeling. The proposed multi-cell LSTM language models outperform the state-of-the-art results on well-known Penn Treebank (PTB) setup.

研究动机与目标

• 探索在单个LSTM节点中引入多个记忆单元以改善长距离上下文建模的潜力。
• 研究有效的组合机制（如最大值或平均值）将多个记忆单元值合并为单一输出的方法。
• 评估多单元LSTM在神经语言建模任务中的性能，特别是在Penn Treebank基准上的表现。
• 将所提出的模型与最先进基于LSTM的语言模型进行比较，重点关注困惑度和训练效率。
• 分析嵌入维度和隐藏层数量等架构超参数对模型性能的影响。

提出的方法

• 提出一种多单元LSTM节点架构，其中每个LSTM单元包含多个记忆单元而非单个单元。
• 采用选择机制（如最大值或平均值）将多个记忆单元的值合并为每个节点的单一输出。
• 保持标准RNN动态和通过时间反向传播（BPTT）进行训练，确保与现有框架的兼容性。
• 使用学习率衰减和权重衰减进行正则化，实验表明最大范数正则化未带来显著改进。
• 训练不同隐藏层大小、嵌入维度和层数的模型，以评估架构影响。
• 采用交叉熵损失与Softmax输出层进行语言建模，预测序列中的下一个词。

实验结果

研究问题

• RQ1 与标准单单元LSTM相比，每个LSTM节点集成多个记忆单元是否能提升语言建模性能？
• RQ2 在组合多个记忆单元值时，最大值、平均值或其他策略中哪种能取得最佳性能？
• RQ3 每个节点中记忆单元数量如何影响在Penn Treebank数据集上的模型收敛速度和困惑度？
• RQ4 该多单元LSTM架构在不同模型规模（小、中、大）和超参数设置下是否具有良好的泛化能力？
• RQ5 所提出的模型能否在困惑度和收敛速度上优于Zaremba等人（2014）的最先进模型？

主要发现

• 多单元LSTM模型（MLSTM-LM）在Penn Treebank数据集上的表现优于最先进模型Zaremba等人（2014），在两隐藏层架构下测试困惑度达到77.12。
• 表现最佳的模型（大尺寸MLSTM-LM，1500个单元，1500维嵌入）测试困惑度为77.12，显著低于基线模型。
• 所有MLSTM-LM模型的收敛速度均快于Zaremba等人模型，饱和点出现在第30轮左右，而基线模型为第55轮。
• 最佳性能在两隐藏层时取得；四隐藏层时性能下降，表明深层架构需要更优的正则化策略。
• 当嵌入维度与隐藏单元数相等时（如1500维对应1500单元模型）获得最佳结果，尺寸不匹配时性能下降。
• 最大范数正则化与权重衰减未带来显著改进，表明在当前设置下该架构的正则化收益有限。