[论文解读] Crowdsourcing Lightweight Pyramids for Manual Summary Evaluation

Ori Shapira, David Gabay+6 more|arXiv (Cornell University)|Apr 11, 2019

Mobile Crowdsensing and Crowdsourcing参考文献 12被引用 4

一句话总结

本文提出了一种可众包、轻量级的金字塔方法变体，用于人工摘要评估，通过统计抽样降低费用，同时保持可靠性。其与基于专家的金字塔评分的相关性高于常见的响应性方法，为摘要系统评估提供了一种更客观、可扩展的绝对评分替代方案。

ABSTRACT

Conducting a manual evaluation is considered an essential part of summary evaluation methodology. Traditionally, the Pyramid protocol, which exhaustively compares system summaries to references, has been perceived as very reliable, providing objective scores. Yet, due to the high cost of the Pyramid method and the required expertise, researchers resorted to cheaper and less thorough manual evaluation methods, such as Responsiveness and pairwise comparison, attainable via crowdsourcing. We revisit the Pyramid approach, proposing a lightweight sampling-based version that is crowdsourcable. We analyze the performance of our method in comparison to original expert-based Pyramid evaluations, showing higher correlation relative to the common Responsiveness method. We release our crowdsourced Summary-Content-Units, along with all crowdsourcing scripts, for future evaluations.

研究动机与目标

• 解决原始基于专家的金字塔方法在人工摘要评估中成本高、对专业知识要求高的问题。
• 开发一种可众包的替代方法，保留金字塔方法的客观性与可靠性。
• 改进现有众包方法（如响应性方法和成对比较），这些方法依赖于主观的整体判断。
• 实现可复现、可扩展的评估，为摘要系统提供绝对评分。
• 发布众包获取的摘要内容单元（Summary-Content-Units）及脚本，以供未来评估使用。

提出的方法

• 提出一种基于抽样的方法，替代原始金字塔方法中的完整内容单元（SCU）提取，以减少标注工作量。
• 使用统计抽样，从参考摘要中选取代表性摘要内容单元（SCUs）子集用于评估。
• 根据显著性（包含SCU的参考摘要数量）分配SCU权重，保留原始金字塔方法的评分逻辑。
• 通过众包进行人工评估，标注人员检查系统摘要中是否包含所抽样的SCUs。
• 将系统得分计算为加权SCUs覆盖数的归一化和，实现绝对性能比较。
• 通过去除互评一致性低（Krippendorff’s alpha）的议题进行后处理过滤，以提高可靠性。

实验结果

研究问题

• RQ1 基于抽样的、可众包的金字塔方法能否在与原始基于专家的金字塔评估保持高度相关性？
• RQ2 所提出的轻量级金字塔方法在与专家评分的相关性方面，其可靠性是否优于响应性方法？
• RQ3 剔除一致性最低的20%议题是否能提高轻量级金字塔与原始金字塔之间的相关性？
• RQ4 轻量级金字塔能否支持多个系统之间的绝对评分比较，而不仅仅是成对比较？
• RQ5 议题复杂性在多大程度上影响轻量级金字塔方法的性能？

主要发现

• 轻量级金字塔方法与原始基于专家的金字塔评分之间的皮尔逊相关系数和斯皮尔曼等级相关系数，均高于响应性方法。
• 在DUC '05和'D06数据集上评估时，轻量级金字塔方法在不同样本规模下表现出稳定性能，且随着更多议题的纳入，相关性持续提升。
• 剔除Krippendorff一致性最低的20%议题后，与原始金字塔的斯皮尔曼相关系数提高了6个百分点。
• 该方法即使仅使用SCUs的抽样子集，也表现出显著的稳定性和可靠性，表明其是完整金字塔评估的可行替代方案。
• 识别出低标注者一致性与关键SCU缺失是性能下降的主要原因，提示可通过自适应抽样或过滤进一步优化。
• 作者发布了所有众包获取的摘要内容单元（Summary-Content-Units）及脚本，支持可复现性，并为未来在新数据集上的评估提供支持。