[论文解读] "Mask and Infill" : Applying Masked Language Model to Sentiment Transfer

Xing Wu, Tao Zhang+3 more|arXiv (Cornell University)|Aug 21, 2019

Topic Modeling参考文献 21被引用 15

一句话总结

本文提出了一种两阶段的「掩码与补全」框架用于非平行情感迁移，利用预训练的掩码语言模型（BERT）在迁移情感的同时保留内容。通过首先对情感承载词进行掩码，然后通过属性条件化的掩码语言模型（AC-MLM）结合上下文和目标情感进行补全生成，该方法在自动评估与人工评估中均达到最先进性能，相较于以往的RNN-based模型，在内容保留与情感准确性方面表现更优。

ABSTRACT

This paper focuses on the task of sentiment transfer on non-parallel text, which modifies sentiment attributes (e.g., positive or negative) of sentences while preserving their attribute-independent content. Due to the limited capability of RNNbased encoder-decoder structure to capture deep and long-range dependencies among words, previous works can hardly generate satisfactory sentences from scratch. When humans convert the sentiment attribute of a sentence, a simple but effective approach is to only replace the original sentimental tokens in the sentence with target sentimental expressions, instead of building a new sentence from scratch. Such a process is very similar to the task of Text Infilling or Cloze, which could be handled by a deep bidirectional Masked Language Model (e.g. BERT). So we propose a two step approach "Mask and Infill". In the mask step, we separate style from content by masking the positions of sentimental tokens. In the infill step, we retrofit MLM to Attribute Conditional MLM, to infill the masked positions by predicting words or phrases conditioned on the context1 and target sentiment. We evaluate our model on two review datasets with quantitative, qualitative, and human evaluations. Experimental results demonstrate that our models improve state-of-the-art performance.

研究动机与目标

• 解决非平行文本中情感迁移的挑战，即不存在相同内容但情感不同的句子对。
• 克服RNN-based编码器-解码器模型在捕捉长距离依赖关系以及生成流畅、语义一致句子方面的局限性。
• 通过利用预训练的深度双向语言模型，提升内容保留与情感迁移准确性。
• 开发一种模仿人类风格情感转换的方法——仅替换情感标记，而非从头重写整个句子。
• 将属性条件化与判别性约束整合到掩码语言建模中，以实现更准确、更精准的情感迁移。

提出的方法

• 该方法包含两个阶段：首先，通过结合注意力分类与词频比词典查找的融合方法，识别并掩码情感词。
• 在补全阶段，通过将预训练的掩码语言模型改造为属性条件化的掩码语言模型（AC-MLM），使预测同时依赖于上下文和目标情感嵌入。
• 进一步利用预训练的情感分类器作为判别器，对AC-MLM进行微调，以确保生成的词语与目标情感一致。
• 在训练过程中应用软采样（soft-sampling），以应对语言生成的离散性，提升优化稳定性。
• 当任一方法（注意力或词频比）无法生成有效且保留内容的掩码时，融合方法会动态选择使用注意力或词频比掩码。
• 模型采用端到端训练，损失函数结合重建损失（上下文流畅性）与判别损失（情感准确性）。

实验结果

研究问题

• RQ1 在无平行训练数据的情况下，基于预训练BERT的掩码与补全方法是否能超越RNN-based编码器-解码器模型在情感迁移中的表现？
• RQ2 注意力与词频比技术的融合方法在保留内容的前提下，识别情感标记的有效性如何？
• RQ3 将掩码语言建模条件化于目标情感，能在多大程度上提升迁移准确性与内容保留？
• RQ4 整合预训练情感分类器如何提升生成情感词的质量与一致性？
• RQ5 在情感准确性与句子流畅性/多样性之间存在何种权衡？是否可通过损失权重进行控制？

主要发现

• 在Yelp数据集上，采用融合掩码方法的AC-MLM-SS模型在人工评估中得分最高：语法正确性得分为4.2，内容保留得分为4.0，目标属性匹配得分为4.4。
• 在Yelp数据集上，AC-MLM-SS模型的BLEU得分为4.2，显著优于先前最先进模型DeleteAndRetrieval（3.6 BLEU）。
• 在Amazon数据集上，AC-MLM-SS模型的BLEU得分为4.1，相较于基线模型表现出一致的性能提升。
• 该模型展现出强大的内容保留能力，人工标注者对内容相似性的评分在Yelp和Amazon上均为4.0，表明语义漂移极小。
• 消融实验证实，融合掩码方法在性能上优于单独的注意力或词频比方法，尤其在噪声更大、结构更不清晰的Amazon数据上表现更优。
• 权衡分析表明，调节超参数η可有效控制BLEU得分与情感准确性之间的平衡，证实了模型性能的可调性。