[论文解读] Learning to Paraphrase: An Unsupervised Approach Using Multiple-Sequence Alignment

Regina Barzilay, Lillian Lee|ArXiv.org|Apr 2, 2003

Natural Language Processing Techniques参考文献 21被引用 96

一句话总结

本文提出一种无监督方法，通过在可比语料（即来自两家不同新闻机构、报道相同事件的新闻文章）上进行多序列对齐（MSA），实现句子级别的释义生成。通过从结构相似的句子构建词格（word lattices），并在不同语料间识别释义对，系统能够学习灵活且可泛化的释义模式，从而对未见句子生成准确的释义，且在语义保留方面优于基线方法。

ABSTRACT

We address the text-to-text generation problem of sentence-level paraphrasing -- a phenomenon distinct from and more difficult than word- or phrase-level paraphrasing. Our approach applies multiple-sequence alignment to sentences gathered from unannotated comparable corpora: it learns a set of paraphrasing patterns represented by word lattice pairs and automatically determines how to apply these patterns to rewrite new sentences. The results of our evaluation experiments show that the system derives accurate paraphrases, outperforming baseline systems.

研究动机与目标

• 开发一种无需知识库、无监督的句子级释义生成方法，不依赖平行语料或语义知识。
• 从可比语料中结构相似的句子里识别并学习释义模式——即来自不同来源但报道相同事件的新闻文章集合。
• 通过基于格的匹配，实现对未见输入句子的释义模式自动选择。
• 通过捕捉完整句子的结构和词汇变化，超越刚性模板化或词级释义，实现更广泛的泛化。
• 证明从非平行数据中提取的 MSA 格可有效表示并生成释义，尤其在低资源或特定领域设置中表现良好。

提出的方法

• 从每个可比语料中结构相似的句子组构建词格，以紧凑方式表示共同的句法和词汇模式。
• 使用多序列对齐（MSA）比较来自两个不同语料的词格，基于共享的论元结构和语义对齐识别释义对。
• 使用句法和词汇相似性，将输入句子与训练集中最相似的词格匹配，然后从另一语料中对齐的词格中应用相应的释义模式。
• 利用词格表示的灵活性，处理词汇替换和结构重述，而无需预定义模板或句法分析。
• 采用保守的词格对选择策略，确保语义等价性，尤其在仅有一个语料可用时。
• 在评估阶段优化系统参数以优先考虑精确率而非召回率，从而优先生成语义保留的释义。

实验结果

研究问题

• RQ1 能否从未标注的、非平行的可比语料中有效学习句子级释义，而无需显式语义标注？
• RQ2 当无法进行直接句子对齐时，如何利用多序列对齐在语料之间识别释义对？
• RQ3 基于词格的表示在多大程度上能泛化到训练数据中未出现的未见句子？
• RQ4 与基于模板或基线的释义方法相比，无监督 MSA 系统在语义保留方面的性能如何？
• RQ5 哪些因素会影响系统的覆盖范围和泛化能力，特别是在较长或更独特的文本段落中？

主要发现

• 该系统在 AFP 新闻文章的保留测试集上成功生成了 59 个句子（共 484 个，占 12.2%）的释义，显著优于基线系统。
• 在替换人名后，59 个生成的释义中仅有 7 个出现在训练集中，表明系统具备强大的泛化能力，超越了精确匹配。
• 两位评审对语义保留的判断一致性分别达到 81.4% 和 78%，而基线系统为 69.5% 和 66.1%，表明本方法性能更优。
• 覆盖率随文章长度变化：短文章（≤10 个句子）的释义覆盖率为 60.8%，而长文章仅为 9.3%，原因在于长文包含更多独特内容（如个人叙述）。
• 两种系统犯了不同类型错误，表明基于 MSA 的方法捕捉到了与基于模板的基线不同的释义模式。
• 利用可比的、非平行语料中的 MSA 词格，即使没有平行语料或外部知识资源，也能实现有效的释义生成。