[论文解读] DeLighT: Very Deep and Light-weight Transformer

Sachin Mehta, Marjan Ghazvininejad+3 more|arXiv (Cornell University)|Aug 3, 2020

Topic Modeling参考文献 30被引用 22

一句话总结

DeLighT 是一种非常深且轻量级的 Transformer 架构，在显著减少参数量和 FLOPs 的情况下，实现了与标准 Transformer 相当或更优的性能。它采用 DExTra 实现参数高效的逐块变换，并结合自适应块缩放，使网络在靠近输出的部分逐渐加深和加宽，从而构建出深度达 2.5–4 倍但参数量更少的模型，在机器翻译和语言建模任务中表现出更高的效率。

ABSTRACT

We introduce a very deep and light-weight transformer, DeLighT, that delivers similar or better performance than transformer-based models with significantly fewer parameters. DeLighT more efficiently allocates parameters both (1) within each Transformer block using DExTra, a deep and light-weight transformation and (2) across blocks using block-wise scaling, that allows for shallower and narrower DeLighT blocks near the input and wider and deeper DeLighT blocks near the output. Overall, DeLighT networks are 2.5 to 4 times deeper than standard transformer models and yet have fewer parameters and operations. Experiments on machine translation and language modeling tasks show that DeLighT matches the performance of baseline Transformers with significantly fewer parameters. On the WMT'14 En-Fr high resource dataset, DeLighT requires 1.8 times fewer parameters and 2 times fewer operations and achieves better performance (+0.4 BLEU score) than baseline transformers. On the WMT'16 En-Ro low resource dataset, DeLighT delivers similar performance with 2.8 times fewer parameters than baseline transformers.

研究动机与目标

• 设计一种 Transformer 架构，在大幅减少模型大小和计算成本的同时保持或提升性能。
• 解决标准 Transformer 效率低下的问题，尽管性能优异，但其深度和参数量扩展性差。
• 探索参数分配策略，优先在后期层增加更深更宽的块，以提升表征能力。
• 开发一种方法，实现在参数增长极小的前提下构建极深网络，提升效率而不损失准确性。

提出的方法

• 提出 DExTra，一种深度且轻量级的变换机制，通过重构每个 Transformer 块内的注意力和前馈网络层，减少参数量。
• 应用逐块缩放技术，调节网络中各 Transformer 块的宽度和深度，使早期块更窄更浅，后期块更宽更深。
• 采用渐进式架构设计，将更深更宽的块置于输出侧，更高效地捕捉复杂表征。
• 通过优化参数分布，将计算资源集中于后期层，以充分发挥分层抽象的优势。
• 采用残差连接机制，在早期层极端深度和极窄宽度的情况下仍保持训练稳定性。
• 利用知识蒸馏和自监督预训练技术，在极少数参数下提升性能。

实验结果

研究问题

• RQ1 能否在不损失性能的前提下，显著增加 Transformer 的深度，同时减少参数量和 FLOPs？
• RQ2 如何优化 Transformer 块内部及块之间的参数分配，以兼顾效率和表征能力？
• RQ3 与均匀或浅层结构相比，将更深更宽的块置于输出侧是否能提升模型性能？
• RQ4 像 DeLighT 这样轻量级的架构能否在低资源和高资源机器翻译任务中，以更少参数超越标准 Transformer？
• RQ5 块级缩放和 DExTra 对训练稳定性和推理效率有何影响？

主要发现

• 在 WMT'14 En-Fr 翻译数据集上，DeLighT 在使用 1.8 倍更少参数和 2 倍更少 FLOPs 的情况下，BLEU 分数相比标准 Transformer 提升了 +0.4。
• 在低资源的 WMT'16 En-Ro 数据集上，DeLighT 以 2.8 倍更少的参数达到了与基线相当的性能。
• DeLighT 模型的深度是标准 Transformer 的 2.5 至 4 倍，证明了通过参数感知的架构设计可高效实现极深网络。
• DExTra 与块级缩放的结合实现了极低的参数增长，尤其在深层网络中表现出强大的表征能力。
• 该模型在高资源和低资源设置下均保持强劲性能，表明其对数据稀缺具有鲁棒性。
• 效率提升在参数量和 FLOP 减少两方面均保持一致，凸显了 DeLighT 在实际部署中的实用优势。