[论文解读] From Solving a Problem Boldly to Cutting the Gordian Knot: Idiomatic Text Generation

Jianing Zhou, Hongyu Gong+2 more|arXiv (Cornell University)|Apr 13, 2021

Natural Language Processing Techniques参考文献 39被引用 8

一句话总结

本文提出了一项新任务——习语化文本生成，通过三阶段流程（习语检索、片段抽取、引导式文本生成）将字面句转化为习语表达。所提出的Guided CopyNet模型在自动评估与人工评估中均优于强基线模型，在包含876对字面-习语句对的新数据集上展现出卓越的性能与可解释性。

ABSTRACT

We study a new application for text generation -- idiomatic sentence generation -- which aims to transfer literal phrases in sentences into their idiomatic counterparts. Inspired by psycholinguistic theories of idiom use in one's native language, we propose a novel approach for this task, which retrieves the appropriate idiom for a given literal sentence, extracts the span of the sentence to be replaced by the idiom, and generates the idiomatic sentence by using a neural model to combine the retrieved idiom and the remainder of the sentence. Experiments on a novel dataset created for this task show that our model is able to effectively transfer literal sentences into idiomatic ones. Furthermore, automatic and human evaluations show that for this task, the proposed model outperforms a series of competitive baseline models for text generation.

研究动机与目标

• 为自然语言生成中习语表达的自动生成研究提供填补。
• 开发一种将字面句转化为习语句的方法，同时保持原始语义与上下文。
• 构建一个包含876对字面-习语句对的新型平行数据集，用于训练与评估。
• 评估基于流水线的模型与端到端神经生成模型在习语改写任务中的有效性。
• 通过模块化、受认知启发的设计，提升文本生成模型的可解释性与性能。

提出的方法

• 三阶段流水线：(1) 使用检索模型从预构建词典中检索与字面短语语义匹配的习语；(2) 使用片段抽取模型识别字面句中应被习语替换的子串；(3) 使用Guided CopyNet模型生成最终的习语句。
• Guided CopyNet模型显式利用片段抽取模块的输出，以提升在复制上下文与正确形态插入习语方面的准确性。
• 检索模型基于字面短语与习语定义之间的语义相似度，选择候选习语。
• 片段抽取模型识别出字面句中应被习语替换的确切子串。
• 生成模型将检索到的习语与剩余上下文结合，并在必要时应用形态调整。
• 系统假设仅使用词典中存储的已知习语，以确保可靠性与可解释性。

实验结果

研究问题

• RQ1 结合检索、片段抽取与生成的流水线方法是否在习语化句子生成任务中优于端到端文本生成模型？
• RQ2 基于心理词典使用认知启发的模块化设计，在生成习语表达方面有多有效？
• RQ3 与直接的序列到序列学习相比，检索与抽取模块在多大程度上提升了生成模型的性能？
• RQ4 所提模型在处理习语的非组合语义时表现如何，特别是在多个习语意义相近的情况下？
• RQ5 上下文信息在字面句到习语句转换中的习语选择与片段对齐中起到何种作用？

主要发现

• 所提出的流水线模型在习语化句子生成任务的自动评估与人工评估中均显著优于竞争性基线模型。
• Guided CopyNet模型通过显式利用片段抽取预测结果来引导复制决策，性能优于标准CopyNet模型。
• 检索模块偶尔会因非组合语义而检索到语义相近但错误的习语，例如将‘get one’s goat’误检为‘wind up’。
• 尽管存在检索错误，模型仍能正确用习语替换提取的片段，并在需要时应用形态调整，显示出强大的生成鲁棒性。
• 基线模型倾向于直接复制输入，而非将字面短语替换为习语，表明其在学习字面到习语映射方面存在困难。
• 876对平行字面-习语句对的数据集为可靠评估提供了支持，并证明了所提任务的可行性。