[论文解读] Generating Syntactically Controlled Paraphrases without Using Annotated Parallel Pairs

Kuan-Hao Huang, Kai-Wei Chang|arXiv (Cornell University)|Jan 26, 2021

Topic Modeling参考文献 59被引用 4

一句话总结

该论文提出 SynPG，一种神经 paraphrase 生成器，通过从无标注文本中解耦语义与句法，实现在无需标注平行对的情况下进行句法控制的 paraphrase 生成。通过使用无序词袋和目标句法树进行句子重建训练，SynPG 在无监督基线模型中实现了更优的句法控制，且在拥有大量无标注数据时，其性能与监督模型相比也具有竞争力。

ABSTRACT

Paraphrase generation plays an essential role in natural language process (NLP), and it has many downstream applications. However, training supervised paraphrase models requires many annotated paraphrase pairs, which are usually costly to obtain. On the other hand, the paraphrases generated by existing unsupervised approaches are usually syntactically similar to the source sentences and are limited in diversity. In this paper, we demonstrate that it is possible to generate syntactically various paraphrases without the need for annotated paraphrase pairs. We propose Syntactically controlled Paraphrase Generator (SynPG), an encoder-decoder based model that learns to disentangle the semantics and the syntax of a sentence from a collection of unannotated texts. The disentanglement enables SynPG to control the syntax of output paraphrases by manipulating the embedding in the syntactic space. Extensive experiments using automatic metrics and human evaluation show that SynPG performs better syntactic control than unsupervised baselines, while the quality of the generated paraphrases is competitive. We also demonstrate that the performance of SynPG is competitive or even better than supervised models when the unannotated data is large. Finally, we show that the syntactically controlled paraphrases generated by SynPG can be utilized for data augmentation to improve the robustness of NLP models.

研究动机与目标

• 开发一种无需依赖昂贵标注 paraphrase 对的 paraphrase 生成模型，以实现句法结构控制。
• 仅使用无标注文本，将句子中的语义意义与句法结构解耦。
• 通过显式的句法控制信号，实现高质量、句法形式多样的 paraphrase 生成。
• 评估该模型在大规模无标注语料上训练时，是否能与监督基线模型在性能上持平或超越。
• 证明 SynPG 生成的 paraphrase 在数据增强中的实用性，以提升下游 NLP 模型对句法对抗攻击的鲁棒性。

提出的方法

• 训练一个基于 Transformer 的编码器-解码器模型（SynPG），利用两种输入进行源句重建：词袋表示（语义编码器）和目标短语结构树（句法编码器）。
• 使用一种对词序不变的语义编码器，以提取纯粹的语义嵌入。
• 使用句法编码器将目标句法树嵌入为上下文相关的句法表示。
• 在解码器中结合语义与句法表示，生成既保持语义又遵循目标句法结构的 paraphrase。
• 通过在无标注文本上端到端训练，使用重建损失，从而无需平行 paraphrase 对。
• 在推理阶段，使用源句和期望的目标句法树，生成句法可控的 paraphrase。

实验结果

研究问题

• RQ1 是否可以在不使用标注 paraphrase 对的情况下实现句法可控的 paraphrase 生成？
• RQ2 从无标注文本中解耦语义与句法，是否能有效实现 paraphrase 生成中的句法控制？
• RQ3 SynPG 在句法控制方面的性能与无监督基线相比如何？
• RQ4 当拥有大量无标注数据时，SynPG 是否能与监督模型在 paraphrase 生成质量上媲美？
• RQ5 SynPG 生成的 paraphrase 是否能通过数据增强提升下游 NLP 模型的鲁棒性？

主要发现

• SynPG 在句法控制方面优于无监督基线模型，生成的 paraphrase 显著更符合目标句法树结构。
• 人工评估确认，SynPG 生成的 paraphrase 在遵循句法规范方面更准确，同时保持了相当的流畅性与语义保留性。
• 在拥有足够无标注数据时，SynPG 的性能与监督模型在 paraphrase 生成任务上持平或超越。
• SynPG 生成的 paraphrase 能够提升模型鲁棒性：在 GLUE 基准测试中，使用 SynPG 数据增强训练的模型在句法对抗攻击中的成功率显著更低（例如，RTE 任务中为 33.9% 的被攻破率，而基线模型为 58.3%）。
• 该模型能有效通过操控句法表示生成多样化的 paraphrase，同时保持语义内容不变，即使在缺乏平行监督的情况下亦可实现。
• 该方法在标注 paraphrase 对稀缺但无标注文本丰富的低资源领域中尤为有价值。