[论文解读] DeFINE: Deep Factorized Input Word Embeddings for Neural Sequence Modeling

Sachin Mehta, Rik Koncel-Kedziorski+2 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 43被引用 13

一句话总结

DeFINE 提出了一种深度因子分解输入词嵌入方法，通过使用带有跳跃连接的分层架构，减少神经序列模型中的参数量和训练时间，实现低维的输入与输出层。该方法在保持性能的同时，使困惑度相比最先进方法降低6–20%，参数量最多减少50%，并显著提升 Transformer-XL 和 AWD-LSTM 等模型的性能。

ABSTRACT

For sequence models with large word-level vocabularies, a majority of network parameters lie in the input and output layers. In this work, we describe a new method, DeFINE, for learning deep word-level representations efficiently. Our architecture uses a hierarchical structure with novel skip-connections which allows for the use of low dimensional input and output layers, reducing total parameters and training time while delivering similar or better performance versus existing methods. DeFINE can be incorporated easily in new or existing sequence models. Compared to state-of-the-art methods including adaptive input representations, this technique results in a 6% to 20% drop in perplexity. On WikiText-103, DeFINE reduces total parameters of Transformer-XL by half with minimal impact on performance. On the Penn Treebank, DeFINE improves AWD-LSTM by 4 points with a 17% reduction in parameters, achieving comparable performance to state-of-the-art methods with fewer parameters. For machine translation, DeFINE improves a Transformer model by 2% while simultaneously reducing total parameters by 26%

研究动机与目标

• 减少大规模词汇表序列模型中输入层和输出层的大量参数。
• 在不牺牲模型性能的前提下提升训练效率。
• 实现与现有及新型序列模型的高效集成。
• 通过低维、因子分解的表示实现更少参数下的最先进性能。
• 探索带有跳跃连接的分层因子分解，以实现更深层、更高效的词嵌入学习。

提出的方法

• DeFINE 采用分层架构，将词嵌入因子分解为低维分量，以减少参数量。
• 引入新颖的层间跳跃连接，以保持梯度流动并提升训练稳定性。
• 在输入层和输出层采用深层因子分解结构，用共享的低秩分量替代标准嵌入矩阵。
• 该架构支持高效的参数共享，显著减少网络中的总参数量。
• DeFINE 设计为即插即用，可与 AWD-LSTM 和 Transformer-XL 等现有模型兼容。
• 模型使用标准训练流程，但得益于更小的参数空间和更优的优化动态，性能得到提升。

实验结果

研究问题

• RQ1 分层因子分解嵌入架构是否能在不降低性能的前提下减少模型参数？
• RQ2 与自适应输入方法相比，DeFINE 在困惑度和参数效率方面表现如何？
• RQ3 DeFINE 在 Transformer-XL 和 AWD-LSTM 中能将训练时间与参数量减少到何种程度？
• RQ4 DeFINE 是否能在减少模型规模的同时提升机器翻译任务的性能？
• RQ5 在因子分解架构中，跳跃连接是否能增强训练稳定性和收敛性？

主要发现

• 在 WikiText-103 数据集上，DeFINE 将 Transformer-XL 的总参数量减少50%，性能影响极小。
• 在 Penn Treebank 数据集上，DeFINE 使 AWD-LSTM 的困惑度降低4个点，同时将参数量减少17%。
• DeFINE 实现了与最先进方法相当的性能，但参数量更少，展现出卓越的参数效率。
• 在机器翻译任务中，DeFINE 使 Transformer 模型的 BLEU 分数提升2分，同时将总参数量减少26%。
• 在多个基准测试中，DeFINE 相较于最先进方法实现了6–20%的困惑度相对降低。
• 该方法在多种序列建模任务中均保持强劲性能，涵盖语言建模与机器翻译等任务。