[论文解读] MOVER: Mask, Over-generate and Rank for Hyperbole Generation

Yunxiang Zhang, Xiaojun Wan|arXiv (Cornell University)|Sep 16, 2021

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 MOVER，一种无需平行数据的无监督方法，通过创新的“掩码、过度生成、排序”流程，从字面句子生成夸张语句。该研究构建了首个大规模英语夸张语料库 HYPO-XL，包含 17,862 个句子，并通过自动评估与人工评估证明，MOVER 能有效生成夸张文本，同时保持语义一致性，优于基线模型。

ABSTRACT

Despite being a common figure of speech, hyperbole is under-researched in Figurative Language Processing. In this paper, we tackle the challenging task of hyperbole generation to transfer a literal sentence into its hyperbolic paraphrase. To address the lack of available hyperbolic sentences, we construct HYPO-XL, the first large-scale English hyperbole corpus containing 17,862 hyperbolic sentences in a non-trivial way. Based on our corpus, we propose an unsupervised method for hyperbole generation that does not require parallel literal-hyperbole pairs. During training, we fine-tune BART to infill masked hyperbolic spans of sentences from HYPO-XL. During inference, we mask part of an input literal sentence and over-generate multiple possible hyperbolic versions. Then a BERT-based ranker selects the best candidate by hyperbolicity and paraphrase quality. Automatic and human evaluation results show that our model is effective at generating hyperbolic paraphrase sentences and outperforms several baseline systems.

研究动机与目标

• 为解决用于训练 NLP 模型的大规模夸张文本数据稀缺问题。
• 开发一种无监督方法，从字面句子生成夸张语句，无需依赖字面-夸张配对数据。
• 在生成文本中平衡语义保留与夸张表达。
• 通过三阶段流程实现可控、可解释且灵活的夸张语句生成。

提出的方法

• 构建 HYPO-XL，一个大规模、非配对的语料库，包含 17,862 个通过弱监督检索与人工标注优化的夸张句子。
• 微调 BART 模型，使其在 HYPO-XL 中句子的掩码夸张片段上执行跨度填空，从而在训练过程中促进夸张语句的生成。
• 推理阶段，对输入的字面句子进行部分掩码，并利用微调后的 BART 模型过度生成多个夸张变体。
• 使用基于 BERT 的排序模型，根据夸张程度与语义相似性选择最佳候选句。
• 将夸张语句生成视为句子编辑任务，而非风格迁移或语义改写任务，从而实现对夸张程度的更好控制。
• 利用“过度生成-排序”范式，在无需平行训练数据的前提下提升输出质量。

实验结果

研究问题

• RQ1 能否通过弱监督与人工参与的迭代优化，有效构建大规模非配对的夸张语料库？
• RQ2 能否微调掩码序列到序列模型，使其在无字面-夸张配对数据的情况下生成夸张语句？
• RQ3 与端到端或基线方法相比，‘过度生成-排序’流程是否在生成语义合理且具有夸张性的改写句方面表现更优？
• RQ4 基于 BERT 的排序模型能否有效平衡生成结果的夸张程度与语义相似性？

主要发现

• 所提出的 HYPO-XL 语料库包含 17,862 个高质量夸张句子，是目前英语中规模最大的同类语料库。
• 在 HYPO-XL 上微调的基于 BERT 的夸张检测模型在测试集上达到 80% 的准确率，展现出强大的夸张检测性能。
• MOVER 在自动评估与人工评估中均优于多个基线模型，展现出在生成夸张语句方面的卓越性能。
• 人工评估证实，MOVER 生成的句子在夸张程度与语义保留之间实现了理想的平衡。
• 与端到端生成模型相比，‘过度生成-排序’策略在可解释性与灵活性方面表现更优。