[论文解读] BlackOut: Speeding up Recurrent Neural Network Language Models With Very Large Vocabularies

Shihao Ji, S. V. N. Vishwanathan+3 more|arXiv (Cornell University)|Nov 21, 2015

Natural Language Processing Techniques被引用 40

一句话总结

BlackOut 是一种基于采样的近似方法，通过在输出层应用加权采样，并使用判别性损失函数提升稳定性和收敛性，从而加速大规模循环神经网络语言模型（RNNLM）的训练，这些模型的词表规模可达百万级别。该方法仅使用单台CPU机器，在1至10天内完成训练，无需GPU或计算集群，即可在 one-billion-word 基准测试中达到最先进水平的困惑度。

ABSTRACT

We propose BlackOut, an approximation algorithm to efficiently train massive recurrent neural network language models (RNNLMs) with million word vocabularies. BlackOut is motivated by using a discriminative loss, and we describe a new sampling strategy which significantly reduces computation while improving stability, sample efficiency, and rate of convergence. One way to understand BlackOut is to view it as an extension of the DropOut strategy to the output layer, wherein we use a discriminative training loss and a weighted sampling scheme. We also establish close connections between BlackOut, importance sampling, and noise contrastive estimation (NCE). Our experiments, on the recently released one billion word language modeling benchmark, demonstrate scalability and accuracy of BlackOut; we outperform the state-of-the art, and achieve the lowest perplexity scores on this dataset. Moreover, unlike other established methods which typically require GPUs or CPU clusters, we show that a carefully implemented version of BlackOut requires only 1-10 days on a single machine to train a RNNLM with a million word vocabulary and billions of parameters on one billion words. Although we describe BlackOut in the context of RNNLM training, it can be used to any networks with large softmax output layers.

研究动机与目标

• 解决训练具有极大规模词表（例如100万个词）的 RNNLM 时的计算瓶颈问题，其中 softmax 输出层占用了绝大部分训练时间。
• 在不牺牲模型准确率或泛化能力的前提下，减少训练时间和资源需求。
• 实现在单台机器上训练大规模 RNNLM，避免依赖 GPU 或 CPU 集群。
• 与现有的近似方法（如 NCE 和重要性采样）相比，提升训练稳定性、采样效率和收敛速度。
• 在理论和实践层面建立 BlackOut 与重要性采样及噪声对比估计（NCE）之间的联系，同时克服它们的局限性。

提出的方法

• 提出将 BlackOut 作为一种应用于 RNNLM 输出层的加权采样策略，即每个训练批次仅更新输出单元的一个子集。
• 使用判别性损失函数，专注于预测正确的下一个词，同时从提议分布 Q(w) 中采样负样本。
• 引入一种加权采样方案，其中每个采样词的权重与其采样概率成反比，以确保无偏梯度估计。
• 将损失函数表述为类似 NCE 的对比目标，但引入自适应采样权重以提升收敛性并降低方差。
• 将 Dropout 概念扩展至输出层，在推理时保持完整的网络结构，而在训练时随机屏蔽输出单元。
• 优化采样率和超参数 α，以在覆盖度和收敛速度之间取得平衡，尤其适用于大规模词表（例如在 V=1M 时采样率为 0.2%）。

实验结果

研究问题

• RQ1 基于采样的近似方法是否能显著减少训练具有百万词表规模的 RNNLM 所需时间，同时保持或提升模型准确率？
• RQ2 BlackOut 的加权采样策略在收敛速度、稳定性和采样效率方面，与标准 NCE 和重要性采样相比表现如何？
• RQ3 BlackOut 在多大程度上能够实现在单台 CPU 机器上训练大规模 RNNLM，而无需依赖 GPU 或分布式集群？
• RQ4 提议分布 Q(w) 和采样率对模型性能和训练动态有何影响？
• RQ5 BlackOut 是否可推广至其他具有大规模 softmax 输出层的深度学习模型，而不仅限于 RNNLM？

主要发现

• 通过将一个 100 万个词的 RNNLM（23 亿参数）与 KN 5-gram 模型结合，BlackOut 在 one-billion-word 基准测试中实现了 47.3 的最低报告困惑度，优于以往最先进方法。
• 使用 2,048 个隐单元和 100 万个词表的模型，在单台 CPU 机器上训练 175 小时后，测试困惑度达到 68.3。
• 使用 BlackOut 训练仅需 1 至 10 天即可完成，而以往工作中类似模型在 32 台 CPU 集群上也需 60 小时。
• 与 NCE 相比，BlackOut 展现出更快的收敛速度和更高的稳定性；在相同设置下，NCE 无法在相同时间内收敛至具有竞争力的性能。
• 该方法通过仅聚焦于每个批次中一小部分加权输出单元，显著降低了计算成本，使在普通硬件上进行大规模训练成为可能。
• 使用 BlackOut 训练的模型表现出更少的过拟合现象，表明其具有类似 Dropout 的正则化优势，尽管仅应用于输出层。