[论文解读] Deep Residual Output Layers for Neural Language Generation

Nikolaos Pappas, James Henderson|arXiv (Cornell University)|May 14, 2019

Topic Modeling被引用 4

一句话总结

本文提出深度残差输出层（DRILL），一种用于神经语言生成中学习结构化输出标签嵌入的深度残差神经网络。通过在堆叠的非线性层之间应用残差连接和dropout，DRILL在不增加秩或维度的情况下增强分类器的表达能力，在语言建模和机器翻译任务中取得最先进或具有竞争力的结果，包括在参数更少的情况下超越Transformer（base）并匹配RNMT+的性能。

ABSTRACT

Many tasks, including language generation, benefit from learning the structure of the output space, particularly when the space of output labels is large and the data is sparse. State-of-the-art neural language models indirectly capture the output space structure in their classifier weights since they lack parameter sharing across output labels. Learning shared output label mappings helps, but existing methods have limited expressivity and are prone to overfitting. In this paper, we investigate the usefulness of more powerful shared mappings for output labels, and propose a deep residual output mapping with dropout between layers to better capture the structure of the output space and avoid overfitting. Evaluations on three language generation tasks show that our output label mapping can match or improve state-of-the-art recurrent and self-attention architectures, and suggest that the classifier does not necessarily need to be high-rank to better model natural language if it is better at capturing the structure of the output space.

研究动机与目标

• 解决神经语言生成中常见于大规模稀疏输出标签空间的有意义结构学习挑战。
• 通过增强输出分类器的表达能力，改善低资源和罕见输出标签的泛化与迁移能力。
• 探索通过加深标签映射（而不增加秩或维度）来提升分类器能力，是否能够超越最先进模型。
• 通过残差连接和dropout减少高容量输出分类器的过拟合，同时保持模型效率。

提出的方法

• 提出从词嵌入到联合输入-输出空间的深度残差非线性映射，替代标准线性分类器。
• 使用跳过一个或多个层的残差连接，使梯度更易流动并保留输入信息。
• 在残差块之间应用dropout以正则化网络并防止过拟合。
• 保留标准的点积和softmax操作进行输出预测，保持与现有编码器架构的兼容性。
• 采用两种不同的dropout策略：对隐藏表示应用标准dropout，以及对残差连接应用残差dropout以随机置零。
• 保留相同的输入编码器（如RNN、Transformer），仅将输出分类器替换为DRILL模块。

实验结果

研究问题

• RQ1 是否可以通过更深的、基于残差的输出标签映射，在不增加分类器秩或维度的情况下提升神经语言生成的性能？
• RQ2 在输出空间中学习更具表达性的结构是否能带来更好的泛化能力，尤其是对低频或罕见词？
• RQ3 与浅层或非残差映射相比，输出层中的残差连接和dropout是否能更有效地减少过拟合并提升泛化能力？
• RQ4 简单的、模块化的输出层替换在多大程度上能超越复杂的、高容量的编码器架构？

主要发现

• 在Wikitext-2语言建模基准测试中，DRILL的测试困惑度为18.3，比Transformer（base）模型低0.8个点，且在参数显著更少的情况下达到与更大规模的Transformer（big）模型相当的性能。
• 在32K BPE词表的英德翻译任务中，基于DRILL的Transformer（base）模型达到28.1 BLEU，比标准Transformer（base）高出0.8 BLEU，且比双非线性映射方法高出0.6 BLEU。
• 模型显著提升了对低频词的预测性能，表明通过结构化输出嵌入，能在语义相似的标签之间实现更好的迁移学习。
• DRILL在单模型、非集成设置下，性能与复杂的集成模型（如RNMT+级联和multicol）相当或更优，尽管后者使用了更深的解码器和混合架构。
• 该方法在不修改输入编码器的前提下实现了最先进性能，表明输出层设计是性能提升中一个关键但尚未被充分探索的优化杠杆。