[论文解读] MACSum: Controllable Summarization with Mixed Attributes

Yusen Zhang, Yang Liu+7 more|arXiv (Cornell University)|Nov 9, 2022

Topic Modeling被引用 6

一句话总结

该论文提出MACSum，这是首个用于混合属性可控摘要的真人标注数据集，涵盖新闻和对话来源，包含五个控制属性——长度、抽取性、具体性、主题和说话人。论文提出了硬提示（hard prompt）和软前缀微调（soft prefix tuning）方法，结果显示硬提示模型在自动评估和人工评估指标上表现最佳，尽管混合属性控制仍具挑战性。

ABSTRACT

Controllable summarization allows users to generate customized summaries with specified attributes. However, due to the lack of designated annotations of controlled summaries, existing works have to craft pseudo datasets by adapting generic summarization benchmarks. Furthermore, most research focuses on controlling single attributes individually (e.g., a short summary or a highly abstractive summary) rather than controlling a mix of attributes together (e.g., a short and highly abstractive summary). In this paper, we propose MACSum, the first human-annotated summarization dataset for controlling mixed attributes. It contains source texts from two domains, news articles and dialogues, with human-annotated summaries controlled by five designed attributes (Length, Extractiveness, Specificity, Topic, and Speaker). We propose two simple and effective parameter-efficient approaches for the new task of mixed controllable summarization based on hard prompt tuning and soft prefix tuning. Results and analysis demonstrate that hard prompt models yield the best performance on all metrics and human evaluations. However, mixed-attribute control is still challenging for summarization tasks. Our dataset and code are available at https://github.com/psunlpgroup/MACSum.

研究动机与目标

• 为解决当前混合属性可控摘要缺乏真人标注基准的问题，目前该领域依赖于通用摘要任务生成的伪数据集。
• 实现对多个属性的联合控制生成摘要，例如在特定主题下生成简短且高度具体化的摘要。
• 建立高质量基准，用于评估能够根据用户多样化偏好在多个属性上生成定制化摘要的模型。
• 探索有效的参数高效微调方法——硬提示与软前缀微调，以实现对摘要中多样化属性的有效控制。
• 识别混合属性控制中的持续性挑战，如主题偏移、长度与具体性之间的权衡，以及抽取性与可读性之间的冲突。

提出的方法

• 作者提出MACSum，一个真人标注的数据集，包含来自新闻和对话领域的源文本，其摘要由五个属性控制：长度、抽取性、具体性、主题和说话人。
• 针对每个源输入，创建多个摘要标注，采用不同组合的控制属性，从而实现对同一输入的多输出评估。
• 硬提示（HP）方法在输入序列前添加控制属性的自然语言描述（例如“长度：长”）作为提示。
• 软前缀（SP）方法引入可学习的连续前缀向量，注入到输入嵌入之前，实现无需修改模型权重的参数高效控制。
• 将摘要模型微调以基于硬提示或软前缀生成摘要，目标是使输出与指定的属性组合保持一致。
• 提出两种新的自动评估指标，用于衡量在长度、抽取性、具体性、主题相关性及说话人一致性等属性上的控制保真度。

实验结果

研究问题

• RQ1 与伪数据集相比，是否真人标注的混合属性数据集能提升可控摘要模型的性能与可靠性？
• RQ2 硬提示与软前缀微调在同时控制多个摘要属性方面效果如何？
• RQ3 在生成同时满足多个冲突属性（如高具体性与短长度）的摘要时，主要挑战是什么？
• RQ4 在未明确提及主题词的情况下，模型在多大程度上无法捕捉主题相关性，这又如何影响控制保真度？
• RQ5 抽取性如何影响生成摘要的语法正确性与流畅性，特别是在对话语境中？

主要发现

• 硬提示模型在所有自动指标和人工评估基准中均优于软前缀模型，表明其具有更高的控制保真度与更高的流畅性。
• MACSum中的真人标注摘要在不同属性组合下表现出高度多样性与连贯性，验证了该数据集的质量与基准价值。
• 真人标注摘要与模型生成输出之间仍存在显著性能差距，表明混合属性控制仍是具有挑战性的任务。
• 模型表现出一种称为“主题偏移”的现象，即过度依赖显式主题词，而未能捕捉高层次的主题相关性，即使内容本身是相关的。
• 长度与具体性之间存在强烈权衡：生成短而高具体性的摘要尤其困难，表现为模型输出的长度超过真人标注的参考摘要。
• 高抽取性导致句子支离破碎、语法错误且不完整，尤其在对话中，话语结构使关键信息提取更加复杂。