[论文解读] DeFINE: DEep Factorized INput Token Embeddings for Neural Sequence Modeling

Sachin Mehta, Rik Koncel-Kedziorski+2 more|arXiv (Cornell University)|Nov 27, 2019

Topic Modeling参考文献 45被引用 13

一句话总结

DeFINE 引入了一种深度、分层的因子化输入嵌入方法，通过一种新颖的跳跃连接 HGT（分层组变换）架构，学习低维标记表示，从而减少神经序列模型中的参数量。该方法在保持推理速度的同时，实现了最先进性能，困惑度降低6–20%，参数量减少高达50%，优于 AWD-LSTM 和 Transformer-XL 等方法。

ABSTRACT

For sequence models with large vocabularies, a majority of network parameters lie in the input and output layers. In this work, we describe a new method, DeFINE, for learning deep token representations efficiently. Our architecture uses a hierarchical structure with novel skip-connections which allows for the use of low dimensional input and output layers, reducing total parameters and training time while delivering similar or better performance versus existing methods. DeFINE can be incorporated easily in new or existing sequence models. Compared to state-of-the-art methods including adaptive input representations, this technique results in a 6% to 20% drop in perplexity. On WikiText-103, DeFINE reduces the total parameters of Transformer-XL by half with minimal impact on performance. On the Penn Treebank, DeFINE improves AWD-LSTM by 4 points with a 17% reduction in parameters, achieving comparable performance to state-of-the-art methods with fewer parameters. For machine translation, DeFINE improves the efficiency of the Transformer model by about 1.4 times while delivering similar performance.

研究动机与目标

• 减少大规模词汇表序列模型中输入层和输出层的高参数量。
• 通过学习紧凑的深层标记表示，在不牺牲性能的前提下提升效率。
• 实现与现有模型（如 Transformer 和 LSTM）的即插即用式集成。
• 探索深度、宽度和跳跃连接等架构选择，以实现最优表示学习。
• 在词级别和子词级别任务（包括语言建模和机器翻译）中展示有效性。

提出的方法

• DeFINE 用分层组变换（HGT）替代标准嵌入层，通过堆叠的稀疏连接层将高维输入映射为低维表示。
• 引入一种新颖的跳跃连接机制，将每个 HGT 层直接连接到输入，实现多路径梯度流动，提升训练稳定性。
• 该方法使用混合层在组间组合特征，增强表示能力，同时最小化参数增长。
• 采用 MER（映射-嵌入-表示）策略，在上下文建模前将高维输入投影到低维空间，降低计算负载。
• 该架构设计为即插即用，仅替换输入和输出嵌入层，无需修改核心模型。
• 支持多种标记类型（包括词和子词），并允许缓存嵌入以保持推理速度。

实验结果

研究问题

• RQ1 在序列建模中，是否可以通过深度、分层的输入嵌入因子化，在不降低性能的前提下减少模型参数？
• RQ2 分层结构内的跳跃连接如何影响表示质量与训练效率？
• RQ3 DeFINE 在语言建模和机器翻译等大规模词汇表任务中，能在多大程度上提升性能？
• RQ4 架构超参数（如深度 N 和宽度 k）如何影响模型性能与参数效率？
• RQ5 DeFINE 是否能与自适应输入和输出表示等现有技术有效结合，进一步提升效率与准确性？

主要发现

• 在 WikiText-103 数据集上，DeFINE 将 Transformer-XL 的总参数量减少50%，性能下降可忽略，测试困惑度降至 40.92，优于原始模型的 41.17。
• 在 Penn Treebank 数据集上，DeFINE 在参数量减少17%的情况下，使 AWD-LSTM 的困惑度提升4点，达到 54.2 的测试困惑度，优于原始和微调后的 AWD-LSTM 模型。
• 当与自适应输入和输出方法结合时，DeFINE 在基于 LSTM 和 Transformer-XL 的模型上均实现 3 点的性能提升，且参数增长极小。
• 在机器翻译任务中，DeFINE 将 Transformer 模型的效率提升 26%（相当于约 1.4 倍加速），同时保持翻译质量。
• DeFINE 中的跳跃连接机制相比无此机制的基线模型，使困惑度降低 2.9 点，证明其在表示学习中的有效性。
• 增加深度（N）可提升性能，但仅增加宽度（k）而不增加深度会导致冗余且无益处，表明最优设计应优先考虑深度而非宽度。