[论文解读] Multi-Figurative Language Generation

Huiyuan Lai, Malvina Nissim|arXiv (Cornell University)|Sep 5, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了 mFLAG，一种多修辞语言生成框架，通过两阶段训练方法联合建模五种修辞形式——夸张、习语、反语、隐喻和明喻。该方法利用 paraphrase 数据进行多修辞预训练，并引入一种新颖的编码器注入机制，以在无需平行修辞-修辞对的情况下引导目标修辞形式的生成。该模型在强基线模型上表现更优，并通过跨修辞知识迁移实现了零样本修辞到修辞的生成。

ABSTRACT

Figurative language generation is the task of reformulating a given text in the desired figure of speech while still being faithful to the original context. We take the first step towards multi-figurative language modelling by providing a benchmark for the automatic generation of five common figurative forms in English. We train mFLAG employing a scheme for multi-figurative language pre-training on top of BART, and a mechanism for injecting the target figurative information into the encoder; this enables the generation of text with the target figurative form from another figurative form without parallel figurative-figurative sentence pairs. Our approach outperforms all strong baselines. We also offer some qualitative analysis and reflections on the relationship between the different figures of speech.

研究动机与目标

• 为解决当前神经生成模型中缺乏对多种修辞语言形式的联合建模问题，该问题目前需要为每种修辞形式分别训练独立模型。
• 实现在不同修辞形式之间（例如从夸张到隐喻）的零样本生成，而无需平行的修辞-修辞句子对。
• 通过在多种修辞形式上联合预训练（使用 paraphrase 数据和形式特定标签），探索跨修辞知识迁移。
• 设计一种机制，将目标修辞信息注入编码器，以在不依赖平行数据的情况下引导生成。
• 评估直接修辞到修辞生成与通过字面形式作为中间桥梁的“枢纽式”生成方法的可行性与特性。

提出的方法

• 采用两阶段训练方案：首先，在字面句与修辞句的混合数据上进行多修辞预训练，为每个输入前缀添加形式特定的标记。
• 其次，使用所有五种修辞形式的平行字面-修辞对进行有监督微调，以实现端到端生成。
• 提出一种新颖的编码器注入机制，将目标修辞形式标签投影到输入嵌入空间，使模型在解码时能够关注目标修辞形式。
• 在预训练阶段使用 paraphrase 数据，以提升不同修辞形式下上下文一致性和形式强度。
• 比较直接修辞到修辞生成与基于字面形式作为中间桥梁的枢纽方法，以评估性能与语言连贯性。
• 通过主成分分析（PCA）对编码器表示进行可视化，以分析不同修辞形式下标记的语义聚类情况。

实验结果

研究问题

• RQ1 单一神经网络模型是否能有效从字面句和修辞句输入中生成多种修辞语言形式，而无需依赖平行的修辞-修辞数据？
• RQ2 跨修辞知识迁移在多修辞语言生成中能在多大程度上提升性能？
• RQ3 所提出的编码器注入机制在保留上下文的同时，如何影响模型生成目标修辞形式的能力？
• RQ4 通过跨修辞形式的分类器泛化能力，揭示了不同修辞形式之间的语言相似性与差异性如何？
• RQ5 在连贯性与形式准确性方面，直接修辞到修辞生成是否优于使用字面形式作为枢纽的生成方式？

主要发现

• mFLAG 模型在多修辞语言生成任务中全面超越所有强基线模型，证明了联合建模与跨修辞知识迁移的有效性。
• 编码器注入机制在无需平行修辞-修辞对的情况下实现了成功的修辞到修辞生成，在未见的形式转换上也取得了高性能。
• PCA 可视化显示，当使用注入机制时，目标修辞形式（如夸张中的 'on pins and needles'）的标记表示在嵌入空间中聚类更紧密，表明其与目标形式语义的对齐更优。
• 在一种修辞形式上训练的分类器能中等程度泛化到其他形式——尤其是从夸张和习语到明喻的泛化（F1 > 0.79），表明这些形式间存在共享的非字面特征。
• 明喻分类器在其他形式上的泛化能力较差（F1 < 0.11），可能因其独特的句法结构 'like a X' 易于识别，限制了跨形式迁移。
• 整体字面与修辞分类器在所有形式上的 F1 分数均超过 0.69，证实了多修辞建模的可行性。