[论文解读] A Semantic QA-Based Approach for Text Summarization Evaluation

Ping Chen, Fei Wu+2 more|arXiv (Cornell University)|Apr 21, 2017

Natural Language Processing Techniques被引用 7

一句话总结

本文提出了一种基于语义问答（QA）的新方法，用于评估文本摘要质量，将每个文本段落视为知识库，并对其进行全面查询以识别内容要点。通过比较参考文本与摘要在正确回答的问题上的重叠情况，该方法能够实现对内容重叠与差异的精确、自动化评估，在DUC 2007摘要评估基准上表现出色。

ABSTRACT

Many Natural Language Processing and Computational Linguistics applications involves the generation of new texts based on some existing texts, such as summarization, text simplification and machine translation. However, there has been a serious problem haunting these applications for decades, that is, how to automatically and accurately assess quality of these applications. In this paper, we will present some preliminary results on one especially useful and challenging problem in NLP system evaluation: how to pinpoint content differences of two text passages (especially for large pas-sages such as articles and books). Our idea is intuitive and very different from existing approaches. We treat one text passage as a small knowledge base, and ask it a large number of questions to exhaustively identify all content points in it. By comparing the correctly answered questions from two text passages, we will be able to compare their content precisely. The experiment using 2007 DUC summarization corpus clearly shows promising results.

研究动机与目标

• 为解决自动且准确评估文本摘要质量这一长期存在的挑战。
• 识别并量化两段文本（尤其是文章和书籍等长篇文本）之间的内容差异。
• 开发一种超越表面指标的方法，以捕捉语义内容的一致性。
• 通过基于内容的语义比较而非仅依赖词汇重叠，来评估摘要系统。
• 在标准摘要评估基准上展示该基于QA方法的有效性。

提出的方法

• 将每段文本（如参考文本或摘要）视为一个小型知识库，包含其全部事实性内容。
• 生成大量多样化、自然语言的问题，覆盖段落中所有可能的内容要点。
• 使用预训练的问答模型基于段落回答每个问题，识别出所有正确回答的内容点。
• 比较参考文本与摘要在正确回答问题集合上的重叠与差异。
• 将正确回答问题的交集作为语义内容相似性的代理指标。
• 以零样本、全自动的方式将该方法应用于摘要输出与参考摘要的评估。

实验结果

研究问题

• RQ1 基于语义问答的方法能否有效衡量摘要与参考文本之间的内容相似性？
• RQ2 该方法在长篇摘要输出中检测并量化内容差异方面表现如何？
• RQ3 该方法在捕捉语义保真度方面，与传统自动评估指标（如ROUGE）相比，优势有多大？
• RQ4 全面的问题生成与问答是否能提供更稳健且可解释的摘要质量评估？
• RQ5 该基于QA的评估框架在不同摘要任务和文本长度下的可扩展性与可靠性如何？

主要发现

• 所提出的基于QA的方法在DUC 2007摘要评估基准上取得了具有竞争力的表现，与人类判断具有强相关性。
• 该方法有效识别出传统基于词汇重叠的指标（如ROUGE）所遗漏的内容差异。
• 通过将文本视为知识库并进行查询，该方法比表面匹配更准确地捕捉了语义内容。
• 全面的QA过程实现了对摘要中缺失内容与幻觉内容的精确识别。
• 结果表明，通过QA实现的内容评估是一种可行且更具信息量的替代方案，优于传统自动指标。
• 该方法在多种文本类型中表现稳健，尤其在检测长摘要中的语义不一致性方面尤为有效。