[论文解读] BLISS: Robust Sequence-to-Sequence Learning via Self-Supervised Input Representation

Zheng Zhang, Liang Ding+4 more|arXiv (Cornell University)|Apr 16, 2022

Natural Language Processing Techniques被引用 9

一句话总结

BLISS 提出了一种框架级的鲁棒序列到序列学习方法，通过联合利用监督信号（输入 → 输出）和自监督信号（扰动输入 → 原始输入），增强模型的泛化能力。通过应用简单的数据增强方法（打乱和替换），并训练一个自监督编码器以恢复被扰动的标记和位置，BLISS 在翻译任务中实现了最高达 0.8 BLEU 点的性能提升，在纠错任务中提升 +2.0 F0.5，在摘要生成任务中提升 +0.5 ROUGE-L，同时学习到比原始 Transformer 更丰富的语言表征。

ABSTRACT

Data augmentations (DA) are the cores to achieving robust sequence-to-sequence learning on various natural language processing (NLP) tasks. However, most of the DA approaches force the decoder to make predictions conditioned on the perturbed input representation, underutilizing supervised information provided by perturbed input. In this work, we propose a framework-level robust sequence-to-sequence learning approach, named BLISS, via self-supervised input representation, which has the great potential to complement the data-level augmentation approaches. The key idea is to supervise the sequence-to-sequence framework with both the extit{supervised} ("input$ ightarrow$output") and extit{self-supervised} ("perturbed input$ ightarrow$input") information. We conduct comprehensive experiments to validate the effectiveness of BLISS on various tasks, including machine translation, grammatical error correction, and text summarization. The results show that BLISS outperforms significantly the vanilla Transformer and consistently works well across tasks than the other five contrastive baselines. Extensive analyses reveal that BLISS learns robust representations and rich linguistic knowledge, confirming our claim. Source code will be released upon publication.

研究动机与目标

• 为解决现有序列到序列模型数据增强方法中对监督信号利用不足的问题，这些方法仅基于扰动输入进行条件建模，而未利用原始输入作为监督信号。
• 开发一种框架级方法，同时优化监督学习（输入 → 输出）和自监督学习（扰动输入 → 原始输入）的目标。
• 通过辅助自监督学习，使模型学习到更具不变性和语言丰富性的表征，从而提升对分布偏移和推理噪声的鲁棒性。
• 在多样化的序列到序列任务（包括机器翻译、语法错误纠正和文本摘要）中验证所提方法的普适性与有效性。

提出的方法

• 采用两种简单数据增强技术——标记打乱和替换——作为输入扰动函数，生成带噪声的输入序列。
• 引入平滑控制器以调节扰动程度，确保训练过程中噪声具有意义但非平凡。
• 在编码器之上设计一种自监督机制，联合预测扰动输入中的原始标记及其位置。
• 使用两种辅助损失函数：标记去噪损失（重建原始标记）和位置去噪损失（重建原始标记位置）。
• 端到端训练序列到序列模型，采用联合目标：标准交叉熵损失用于输出预测，以及两种自监督损失用于输入恢复。
• 在池化后的编码器表征上使用多层感知机（MLP）分类器进行探针分析，以实现对学习表征的定量评估。

实验结果

研究问题

• RQ1 是否一种框架级的自监督学习方法，通过同时利用监督信号与自监督信号，能够提升序列到序列模型的鲁棒性？
• RQ2 对输入到输出与扰动输入到原始输入的监督信号进行联合优化，如何增强模型在多样化 NLP 任务中的泛化能力？
• RQ3 与标准 Transformer 相比，BLISS 在保留和增强语言知识（表层、句法和语义）方面达到何种程度？
• RQ4 与现有数据增强基线相比，BLISS 在超参数选择和推理时噪声下的鲁棒性如何？
• RQ5 BLISS 是否能与诸如 SwitchOut 等其他数据增强技术有效结合，以进一步提升性能？

主要发现

• BLISS 在所有评估任务中均实现一致的性能提升：在机器翻译中提升 +0.6 至 +0.8 BLEU 点，在语法错误纠正中提升 +2.0 F0.5，在文本摘要任务中提升 +0.5 ROUGE-L，优于强基线 Transformer 模型。
• 消融研究证实，若移除标记去噪损失或位置去噪损失，模型在噪声推理下的性能会显著下降，表明辅助自监督的关键作用。
• 探针任务显示，BLISS 编码器在表层、句法和语义探针任务中平均得分达 66.2，显著高于原始 Transformer 的 65.1，表明其保留了更丰富的语言知识。
• BLISS 对超参数变化和推理噪声均表现出强鲁棒性，在干净和噪声推理设置下均优于基线模型。
• 该方法与现有数据增强策略（如 SwitchOut）具有互补性，表明未来可集成于鲁棒训练流水线中。
• 即使在低资源设置下，模型性能依然稳定且有效，表明其具备强大的泛化能力。