[论文解读] DeLighT: Deep and Light-weight Transformer

Sachin Mehta, Marjan Ghazvininejad+3 more|arXiv (Cornell University)|Aug 3, 2020

Topic Modeling参考文献 45被引用 46

一句话总结

DeLighT 是一种深度、参数高效的变换器，它使用 DeLighT 变换，结合群线性变换和分块缩放，在比标准变换器显著更少的参数和运算量的情况下实现相似或更好的性能。

ABSTRACT

We introduce a deep and light-weight transformer, DeLighT, that delivers similar or better performance than standard transformer-based models with significantly fewer parameters. DeLighT more efficiently allocates parameters both (1) within each Transformer block using the DeLighT transformation, a deep and light-weight transformation, and (2) across blocks using block-wise scaling, which allows for shallower and narrower DeLighT blocks near the input and wider and deeper DeLighT blocks near the output. Overall, DeLighT networks are 2.5 to 4 times deeper than standard transformer models and yet have fewer parameters and operations. Experiments on benchmark machine translation and language modeling tasks show that DeLighT matches or improves the performance of baseline Transformers with 2 to 3 times fewer parameters on average. Our source code is available at: \url{https://github.com/sacmehta/delight}

研究动机与目标

• 提出一种在深度和宽度上扩展，而不产生成比例的参数成本的参数高效序列模型。
• 提出使用带特征洗牌的群线性变换的 DeLighT 变换，以高效学习更宽的表示。
• 引入分块缩放，在靠近输出的位置为更深更宽的分块分配更多容量，同时保持输入分块较浅且窄。
• 证明 DeLighT 在翻译和语言建模任务上以显著更少的参数和 FLOPs 实现与基线相当或更好的性能。

提出的方法

• 提出 DeLighT 变换，通过使用 N 个 GLT 层将 dm 维输入扩展到高维空间，然后再降维到 do 维。
• 用单头注意力和轻量级前馈网络替代变换器中的多头注意力和 FFN。
• 使用特征洗牌在 GLT 组之间共享信息，并引入输入混合器以稳定训练。
• 将深度和宽度与输入大小解耦，使分块缩放成为可能：早期块较浅/窄，后期块更深/更宽。
• 用 Nmin、Nmax 和 wm 定义分块缩放，在网络中创建具有不同深度和宽度的 DeLighT 块。
• 表明 do = dm/2 将注意力成本降低大约2倍，且由于轻量化设计 FFN 降低大约16倍。

实验结果

研究问题

• RQ1 一个深度、轻量级的变换器若其宽度/深度与输入大小解耦，是否能够在显著更少参数的情况下达到或超过变换器基线？
• RQ2 相较于均匀缩放，分块缩放和 DeLighT 变换是否在机器翻译和语言建模任务上带来更有效的参数利用率和结果？
• RQ3 在更少的参数和 FLOPs 下，DeLighT 与最先进的变换器在 BLEU 和困惑度方面的表现如何？

主要发现

• DeLighT 在 WMT 和 IWSLT 数据集上达到与基线 Transformer 相似或更好的 BLEU 分数，参数减少为原来的 2.8x 到 1.8x。
• DeLighT 比标准变换器深度多 2.5–4 倍，但使用的参数和运算量更少。
• 在 WMT’14 En-Fr 上，DeLighT 相比 Transformer 基线在参数少 13M、运算量少 30 亿的情况下实现 +1.3 BLEU。
• 在语言建模（WikiText-103）中，DeLighT 实现与 Transformer-XL 相同的性能，参数少 1.5x。
• 分块缩放在输入附近分配较少参数，在输出附近提供更深的容量，从而在不牺牲性能的情况下提高效率。
• 相较基线变换器，DeLighT 的正则化需求减少，暗示来自变换本身的更强表征能力。