[论文解读] Fast and Simple Mixture of Softmaxes with BPE and Hybrid-LightRNN for Language Generation

Xiang Kong, Qizhe Xie+2 more|arXiv (Cornell University)|Sep 25, 2018

Topic Modeling参考文献 37被引用 3

一句话总结

本论文提出使用字节对编码（BPE）和混合-LightRNN作为高效的词汇编码方案，以降低序列生成中混合Softmax（MoS）的内存和计算成本。通过将时间和内存使用量减半且不损失性能，结合BPE或Hybrid-LightRNN的MoS实现了最先进性能，包括在WMT 2014英德翻译任务中达到29.6 BLEU，以及在图像字幕生成任务中CIDEr提升0.76分。

ABSTRACT

Mixture of Softmaxes (MoS) has been shown to be effective at addressing the expressiveness limitation of Softmax-based models. Despite the known advantage, MoS is practically sealed by its large consumption of memory and computational time due to the need of computing multiple Softmaxes. In this work, we set out to unleash the power of MoS in practical applications by investigating improved word coding schemes, which could effectively reduce the vocabulary size and hence relieve the memory and computation burden. We show both BPE and our proposed Hybrid-LightRNN lead to improved encoding mechanisms that can halve the time and memory consumption of MoS without performance losses. With MoS, we achieve an improvement of 1.5 BLEU scores on IWSLT 2014 German-to-English corpus and an improvement of 0.76 CIDEr score on image captioning. Moreover, on the larger WMT 2014 machine translation dataset, our MoS-boosted Transformer yields 29.5 BLEU score for English-to-German and 42.1 BLEU score for English-to-French, outperforming the single-Softmax Transformer by 0.8 and 0.4 BLEU scores respectively and achieving the state-of-the-art result on WMT 2014 English-to-German task.

研究动机与目标

• 解决混合Softmax（MoS）带来的高内存和计算成本问题，尽管其模型表达能力更强，但该问题限制了其实际应用。
• 通过高效的编码方案减少词汇表大小，从而降低计算和内存负担，以处理多个Softmax组件的计算。
• 提升MoS在大规模语言生成任务（如机器翻译和图像字幕生成）中的效率和可扩展性。
• 证明结合BPE或Hybrid-LightRNN的MoS可在保持或降低推理成本的同时实现最先进性能。
• 探究如Hybrid-LightRNN这样的学习型编码方案是否优于BPE等启发式方法，特别是在处理未登录词和捕捉语义结构方面。

提出的方法

• 应用字节对编码（BPE）对子词进行编码，减少词汇表大小，并通过将词语表示为子词单元序列来实现更高效的Softmax计算。
• 提出Hybrid-LightRNN，一种可学习的编码机制，通过语言建模目标学习基于表格的词码本，将语义或句法上相似的词语分组到共享的行或列中。
• 利用学习到的码本将每个词语表示为一串码元序列，将Softmax计算转化为对码序列的条件分布乘积。
• 在码序列上应用具有多个Softmax组件的MoS，从而在不增加词汇表大小的前提下提升概率矩阵的秩和表达能力。
• 通过反向传播端到端优化编码表，使模型能够学习数据驱动的、具有语义意义的码分配。
• 将编码方案集成到基于Transformer的模型中，使MoS能够高效应用于现代序列到序列架构中。

实验结果

研究问题

• RQ1 BPE和Hybrid-LightRNN是否能在不损失性能的前提下显著降低混合Softmax（MoS）的内存和计算成本？
• RQ2 可学习的编码方案如Hybrid-LightRNN是否在捕捉词语表示中的语义和句法结构方面优于启发式方法如BPE？
• RQ3 生成未登录词（OOV）的能力在多大程度上促成了BPE-MoS相较于Hybrid-LightRNN-MoS的性能提升？
• RQ4 增加MoS组件数量对性能有何影响？其收益是否呈现递减趋势？
• RQ5 Hybrid-LightRNN中的学习码本是否能将语义或句法上相似的词语分组到同一行或列中，表明其具备有意义的结构学习能力？

主要发现

• 在IWSLT 2014德语到英语翻译任务中，BPE和Hybrid-LightRNN各自将MoS的时间和内存消耗降低约50%，且无性能下降。
• 在WMT 2014英德翻译基准上，结合BPE或Hybrid-LightRNN的MoS实现了29.6 BLEU的得分，创下新的最先进结果。
• 与基线相比，BPE-MoS在IWSLT 2014德语到英语翻译任务中提升了1.5 BLEU点，在图像字幕生成任务中提升了0.76 CIDEr点。
• 增加MoS组件数量可提升性能，但收益呈现递减趋势，表明适度数量的混合（如3–5个）已足以实现高表达能力。
• Hybrid-LightRNN在随机初始化和基于频率的初始化下分别提升了2.68和1.55 BLEU点，证实了端到端学习编码表的价值。
• 即使禁用OOV生成功能，BPE-MoS仍比Hybrid-LightRNN-MoS高出0.07 BLEU，表明BPE的子词编码更能有效捕捉数据统计特性，优于Hybrid-LightRNN中的学习表。