[论文解读] Dear Sir or Madam, May I introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer

Sudha Rao, Joel Tetreault|arXiv (Cornell University)|Mar 17, 2018

Natural Language Processing Techniques参考文献 30被引用 20

一句话总结

本文提出了 GYAFC 数据集，这是目前规模最大的用于正式性风格转换的平行语料库，包含 110K 个非正式到正式的句子对。研究使用短语基于和神经机器翻译模型建立了强有力的基线，并将自动指标与人工判断进行对比评估，揭示了在风格转换任务中自动指标存在显著局限性。

ABSTRACT

Style transfer is the task of automatically transforming a piece of text in one particular style into another. A major barrier to progress in this field has been a lack of training and evaluation datasets, as well as benchmarks and automatic metrics. In this work, we create the largest corpus for a particular stylistic transfer (formality) and show that techniques from the machine translation community can serve as strong baselines for future work. We also discuss challenges of using automatic metrics.

研究动机与目标

• 解决当前缺乏大规模、高质量的平行语料库用于正式性风格转换的问题。
• 利用成熟的机器翻译技术，为非正式到正式的风格转换任务建立强有力的基线。
• 将自动指标（包括机器翻译和释义匹配指标）与人工判断进行对比，评估其有效性。
• 探究在评估风格转换时面临的挑战，特别是反向（正式到非正式）方向的困难。
• 提供一个公开、可复现的资源，以加速风格转换领域的研究。

提出的方法

• 通过从 Yahoo Answers 收集 110K 个非正式到正式的句子对，并经人工验证正式重写，构建 GYAFC 数据集。
• 将短语基于机器翻译（PBMT）和神经机器翻译（NMT）模型适配为风格转换的基线模型。
• 实现带有复制机制的 NMT 变体及组合解码策略，以提升流畅度和正式性转换效果。
• 应用包括 BLEU、TERp、PINC 以及正式性/流畅度/语义保留度评分在内的自动指标，评估模型输出。
• 在两个领域（娱乐与音乐、家庭与人际关系）中，对模型输出的人工评估，涵盖正式性、流畅度和语义保留度。
• 分析自动指标与人工判断之间的相关性，以评估指标的可靠性。

实验结果

研究问题

• RQ1 现有机器翻译模型在正式性风格转换任务中作为基线的性能如何？
• RQ2 自动指标在评估正式性风格转换时与人工判断的相关性有多大？
• RQ3 为何自动指标在正式到非正式方向上的性能劣化程度高于非正式到正式方向？
• RQ4 在正式到非正式的风格转换方向上，基于规则的方法是否能超越学习型模型？
• RQ5 当参考输出在非正式语言中存在高度变异性时，评估风格转换面临哪些关键挑战？

主要发现

• GYAFC 数据集包含 110,000 个高质量的非正式到正式句子对，是目前公开可用的规模最大的正式性风格转换语料库。
• 短语基于和神经机器翻译模型均表现出强劲的基线性能，其中 NMT 模型在非正式到正式方向的多数指标上优于 PBMT。
• 在正式到非正式方向上，基于规则的模型在人工判断的正式性、流畅度和语义保留度方面均优于所有学习型模型。
• BLEU、TERp 和 PINC 等自动指标与人工判断的相关性较差，尤其是在正式到非正式方向，表明其可靠性有限。
• 正式性分类器在非正式输出上与人工判断的相关性更高，表明模型在非正式到正式方向上的性能更具可预测性，反之则不然。
• 本研究发现，非正式重写版本的高变异性使得基于参考的指标不适用于正式到非正式的风格转换，凸显了该方向评估的关键挑战。