[论文解读] An Analysis of Neural Language Modeling at Multiple Scales

Stephen Merity, Nitish Shirish Keskar+1 more|arXiv (Cornell University)|Mar 22, 2018

Topic Modeling参考文献 29被引用 143

一句话总结

本文表明，经过良好调参的 LSTM 和 QRNN 基线与 tied adaptive softmax 结合，在字符级和词级语言建模的多尺度上可以达到最先进的结果，并且在单个现代 GPU 上高效训练。

ABSTRACT

Many of the leading approaches in language modeling introduce novel, complex and specialized architectures. We take existing state-of-the-art word level language models based on LSTMs and QRNNs and extend them to both larger vocabularies as well as character-level granularity. When properly tuned, LSTMs and QRNNs achieve state-of-the-art results on character-level (Penn Treebank, enwik8) and word-level (WikiText-103) datasets, respectively. Results are obtained in only 12 hours (WikiText-103) to 2 days (enwik8) using a single modern GPU.

研究动机与目标

• 激发/说明：经过良好调参的基线模型在大规模语言建模任务中可以与复杂架构匹敌。
• 将最先进的词级模型扩展到更大的词汇表以及字符级数据。
• 分析用于字符级和词级任务的 LSTM 与 QRNN 的权衡。
• 研究超参数的重要性以指导实际的模型调优。
• 讨论数据集选择和评估指标以实现公平比较。

提出的方法

• 使用带可训练嵌入层、堆叠的循环层和一个带权重绑定的 softmax 分类器的基线模型框架。
• 比较 LSTM 和 QRNN 单元，突出 QRNN 在 GPU 利用率和训练速度方面的优势。
• 采用更长的 truncated BPTT 以捕捉长程依赖并提高 GPU 效率。
• 采用带权重绑定的改进型 adaptive softmax 以高效处理大词汇表。
• 在三个数据集上进行训练和评估：Penn Treebank（字符级）、enwik8（字符级）和 WikiText-103（词级）。
• 进行超参数分析，包括基于随机森林的重要性评估和敏感性研究。

实验结果

研究问题

• RQ1 一个标准的 LSTM/QRNN 基线是否可以在大规模的字符级和词级语言建模上达到最先进的结果？
• RQ2 在字符级与词级任务上，LSTM 和 QRNN 的比较如何，哪些超参数最影响性能？
• RQ3 更长的 BPTT 与 tied adaptive softmax 对大词汇表的训练速度和模型准确性有何影响？
• RQ4 常用基准（如 Penn Treebank）是否适合字符级建模，数据集选择如何影响结果？
• RQ5 从业者应如何调参以在最少调参资源下实现强性能？

主要发现

• 经过良好调参的 LSTM 和 QRNN 基线在所评估的数据集上达到具有竞争力的或最先进的困惑度/BPC。
• 在词级 WikiText-103 上，QRNN 相对于 LSTM 提供显著的速度优势（训练时间和批量效率），但在当数据集复杂度提高时，可能在现实的字符级任务上表现不佳。
• 更长的 BPTT 和使用 tied adaptive softmax 有助于在不采用过于复杂架构的情况下有效管理大词汇表。
• 超参数重要性分析表明，dropout 相关的超参数（权重、嵌入和隐藏层 dropout）对性能有显著影响；在合理范围内，嵌入维度的影响相对较小。
• 将 Penn Treebank 字符级数据认定为字符建模的缺陷数据，强调需要如 enwik8 这样的更现实的数据集用于评估。
• 参数数量并非模型复杂度或硬件需求的可靠代理；实际效率取决于架构和训练动态。