[论文解读] A task in a suit and a tie: paraphrase generation with semantic augmentation

Wang Su, Rahul Gupta+2 more|arXiv (Cornell University)|Oct 31, 2018

Natural Language Processing Techniques被引用 12

一句话总结

该论文提出了一种语义增强的释义生成模型，通过多编码器架构将PropBank框架标签整合到Transformer和LSTM模型中，从而提升性能。在MSCOCO和WikiAnswers数据集上，BLEU、METEOR和TER指标均提升了2–3分，人工评估结果也显著改善，但模型在分布外文本上的泛化能力仍有限。

ABSTRACT

Paraphrasing is rooted in semantics. We show the effectiveness of transformers (Vaswani et al. 2017) for paraphrase generation and further improvements by incorporating PropBank labels via a multi-encoder. Evaluating on MSCOCO and WikiAnswers, we find that transformers are fast and effective, and that semantic augmentation for both transformers and LSTMs leads to sizable 2-3 point gains in BLEU, METEOR and TER. More importantly, we find surprisingly large gains on human evaluations compared to previous models. Nevertheless, manual inspection of generated paraphrases reveals ample room for improvement: even our best model produces human-acceptable paraphrases for only 28% of captions from the CHIA dataset (Sharma et al. 2018), and it fails spectacularly on sentences from Wikipedia. Overall, these results point to the potential for incorporating semantics in the task while highlighting the need for stronger evaluation.

研究动机与目标

• 通过将结构化语义知识整合到神经序列模型中，提升释义生成质量。
• 探究通过PropBank标签进行语义增强是否能提升基于Transformer和LSTM的模型性能。
• 评估自动指标（BLEU、METEOR、TER）与人工判断在释义质量评估中的差距。
• 评估模型在分布外数据（特别是Wikipedia和CHIA数据集）上的泛化能力。
• 探讨自动指标的局限性，以及在释义生成任务中对更细致评估方法的需求。

提出的方法

• 使用处理输入句子及其对应PropBank框架标签的多编码器架构，微调预训练的Transformer或LSTM模型。
• 使用SLING神经语义解析器从输入句子中提取PropBank框架和角色，并将其表示为连续向量。
• 将编码后的输入句子与语义框架表示进行拼接或注意力融合，生成联合上下文表征。
• 在MSCOCO和WikiAnswers的配对释义数据上，使用序列到序列目标端到端训练模型。
• 对Transformer和LSTM架构采用相同的语义增强策略，以进行对比分析。
• 在三项人工评估任务上进行评估：领域内释义质量、成对释义一致性，以及基于图像的标题可接受性，以评估模型在自动指标之外的行为表现。

实验结果

研究问题

• RQ1 通过多编码器架构引入PropBank框架标签，是否能同时提升Transformer和LSTM模型的释义生成性能？
• RQ2 在该任务中，BLEU和METEOR等自动指标与人工对释义质量的判断有多高的相关性？
• RQ3 语义增强模型在Wikipedia句子等分布外输入上的泛化能力达到何种程度？
• RQ4 为何自动评分相近的模型在人工可接受性评分上存在显著差异？
• RQ5 语义结构在提升泛化能力与减少释义生成中的幻觉现象方面发挥何种作用？

主要发现

• 所提出的语义增强模型在MSCOCO和WikiAnswers上，BLEU、METEOR和TER指标相比基线模型均提升了2–3分。
• 尽管BLEU分数相近，但加入PropBank增强的Transformer模型（人工可接受性45.6%）在人工评估中显著优于LSTM模型（36.4%）。
• 在CHIA数据集上，语义增强模型（transformer-pb）的人工可接受性为28.0%，而基线Transformer模型仅为18.0%，尽管两者均远低于CHIA的黄金标准（78.2%）。
• 在Wikipedia数据上，模型表现出严重的幻觉现象，基线Transformer模型常为无关输入生成如“一个穿西装和领带的男人”等无关短语。
• 人工评估揭示了自动指标与人工感知之间存在显著偏差，表明BLEU等指标不足以作为最终模型比较的依据。
• 本研究证明，语义增强能提升模型性能与一致性，但在分布外和复杂输入上的泛化能力与鲁棒性仍有巨大提升空间。