[论文解读] An Improved Phrase-based Approach to Annotating and Summarizing Student Course Responses

Wencan Luo, Fei Liu+1 more|arXiv (Cornell University)|May 25, 2018

Advanced Text Analysis Techniques参考文献 28被引用 5

一句话总结

本文提出一种基于短语的高亮方案，以提升大规模课程中学生反馈自动摘要的质量，支持监督式短语抽取、学习到的短语相似度以及社区检测聚类。该方法在 ROUGE 和一种新颖的颜色匹配度量上显著优于先前工作，生成的摘要更能反映内容质量与学生需求。

ABSTRACT

Teaching large classes remains a great challenge, primarily because it is difficult to attend to all the student needs in a timely manner. Automatic text summarization systems can be leveraged to summarize the student feedback, submitted immediately after each lecture, but it is left to be discovered what makes a good summary for student responses. In this work we explore a new methodology that effectively extracts summary phrases from the student responses. Each phrase is tagged with the number of students who raise the issue. The phrases are evaluated along two dimensions: with respect to text content, they should be informative and well-formed, measured by the ROUGE metric; additionally, they shall attend to the most pressing student needs, measured by a newly proposed metric. This work is enabled by a phrase-based annotation and highlighting scheme, which is new to the summarization task. The phrase-based framework allows us to summarize the student responses into a set of bullet points and present to the instructor promptly.

研究动机与目标

• 解决在大规模课程中，从反思性提示中总结大量多样化、非结构化学生反馈的挑战。
• 克服先前基于短语的摘要方法的局限，包括仅依赖名词短语、缺乏全局聚类优化以及无监督的相似度估计。
• 开发一种新的标注方案，将摘要短语与提出该问题的学生支持人数关联，并在原始反馈中高亮对应短语。
• 通过支持监督学习实现短语抽取与相似度估计，并利用社区检测实现更精确的聚类，从而提升摘要性能。
• 引入一种基于颜色匹配的新评估度量，以评估摘要与人工标注摘要的一致性，强调内容与学生需求的双重体现。

提出的方法

• 提出一种基于短语的高亮方案：人工标注者提取摘要短语，标注每个问题被多少名学生提出（学生支持者数量），并在摘要和原始反馈中高亮匹配的短语。
• 开发一种基于标注数据训练的监督式候选短语抽取模型，可提取不仅限于名词短语的其他信息性短语（例如，'置信区间如何与之前主题关联'）。
• 利用标注数据训练的监督方法学习短语相似度，提升相似度估计效果，超越无监督方法。
• 用 OSLOM（一种社区检测算法）替代贪心的 K-medoids 聚类，该算法通过考虑全局结构优化统计显著性，避免了‘坍塌’效应。
• 使用 ROUGE 评估内容质量，使用一种新颖的颜色匹配度量评估摘要与人工标注摘要的一致性，该度量按学生支持者数量加权。
• 利用颜色匹配度量计算精确率、召回率与 F1 值，其中共享颜色代表匹配的问题，权重反映估计的学生支持程度。

实验结果

研究问题

• RQ1 与仅基于名词短语的抽取相比，监督式短语抽取模型是否能显著提升摘要质量？
• RQ2 从标注数据中学习短语相似度是否能带来优于无监督相似度估计的聚类与摘要质量？
• RQ3 像 OSLOM 这样的社区检测算法是否能通过识别统计显著性聚类，优于贪心聚类（如 K-medoids）来分组学生反馈短语？
• RQ4 新提出的颜色匹配评估度量在多大程度上与人类对摘要质量的判断相关，特别是对紧迫学生需求的捕捉能力？
• RQ5 所提出的改进在真实课程反馈摘要中，对内在（ROUGE）与外在（颜色匹配）评估度量分别产生何种影响？

主要发现

• 监督式短语抽取模型在 ROUGE 指标上显著优于基线模型 PhraseSum，F1 值在 Course A 上从 0.437 提升至 0.614，在 Course B 上从 0.576 提升至 0.717。
• 社区检测方法（CDSum）在颜色匹配度量上取得最高 F1 值，Course B 上达到 0.759，优于 SequenceSum（0.723）与 PhraseSum（0.576）。
• CDSum 在 Course B 上使用颜色匹配度量获得 0.777 的精确率与 0.762 的召回率，表明其在捕捉短语内容与学生支持人数方面与人工标注摘要高度一致。
• 该方法成功缓解了先前工作中出现的‘坍塌’效应，即无关短语被错误聚为单一大簇，CDSum 中更准确的支持者估计可证明这一点。
• 颜色匹配度量展现出强大的区分能力，SequenceSum 与 CDSum 的精确率与 F1 值显著高于 PhraseSum，表明其与人工标注摘要的对齐程度更高。
• 监督式短语抽取、学习到的相似度与 OSLOM 聚类的结合，使生成的摘要在信息量（更高的 ROUGE）与对学生真实需求的代表性（更高的颜色匹配 F1）方面均更优。