[论文解读] Extractive Summarization of Legal Decisions using Multi-task Learning and Maximal Marginal Relevance

Abhishek Agarwal, Shanshan Xu+1 more|arXiv (Cornell University)|Oct 22, 2022

Topic Modeling被引用 4

一句话总结

本文提出了一种基于 BERT 模型和最大边际相关性（MMR）的多任务学习方法，用于法律判决的抽取式摘要生成，以减少冗余。通过联合训练摘要生成与修辞角色识别任务，该模型在低资源法律 NLP 设置下实现了与人类专家摘要相当的 ROUGE 分数，表现出色。

ABSTRACT

Summarizing legal decisions requires the expertise of law practitioners, which is both time- and cost-intensive. This paper presents techniques for extractive summarization of legal decisions in a low-resource setting using limited expert annotated data. We test a set of models that locate relevant content using a sequential model and tackle redundancy by leveraging maximal marginal relevance to compose summaries. We also demonstrate an implicit approach to help train our proposed models generate more informative summaries. Our multi-task learning model variant leverages rhetorical role identification as an auxiliary task to further improve the summarizer. We perform extensive experiments on datasets containing legal decisions from the US Board of Veterans' Appeals and conduct quantitative and expert-ranked evaluations of our models. Our results show that the proposed approaches can achieve ROUGE scores vis-à-vis expert extracted summaries that match those achieved by inter-annotator comparison.

研究动机与目标

• 开发一种适用于法律判决的抽取式摘要系统，使其在专家标注数据有限的低资源设置下表现良好。
• 通过最大边际相关性（MMR）减少法律摘要中的冗余，同时保留关键内容。
• 通过在多任务学习框架中引入修辞角色识别作为辅助任务，提升摘要生成性能。
• 通过 ROUGE 指标进行定量评估，并通过专家评估进行定性评估。
• 在来自美国退伍军人事务委员会（U.S. Board of Veterans’ Appeals）的真实法律判决上验证模型的有效性，重点关注创伤后应激障碍（PTSD）补偿案件。

提出的方法

• 在法律文本上微调领域特定的 BERT 模型，以更好地捕捉法律术语和句子嵌入。
• 训练序列标注模型以识别法律判决中的修辞角色（如推理、证据等）作为辅助任务。
• 使用 MMR 重新排序候选句子，通过平衡相关性与多样性，最小化最终摘要中的冗余。
• 应用多任务学习，联合优化抽取式摘要生成与修辞角色分类任务，共享不同任务之间的表示。
• 在训练过程中引入冗余损失项，隐式减少所选句子之间的语义重复。
• 将模型预测结果与基于 MMR 的选择机制结合，生成简洁、信息丰富且无冗余的摘要。

实验结果

研究问题

• RQ1 在低资源法律数据集上，结合修辞角色识别的多任务学习是否能提升抽取式摘要的性能？
• RQ2 与其它冗余减少策略相比，基于 MMR 的句子选择在法律摘要中表现如何？
• RQ3 所提出的模型在定量与定性评估中，与专家标注摘要的匹配程度如何？
• RQ4 与通用领域模型相比，集成领域特定预训练 BERT 是否能提升摘要性能？
• RQ5 为何在定量指标上表现更优的多任务模型，其定性评估中却时常不如单任务模型？

主要发现

• 多任务学习模型的 ROUGE 分数达到或超过人工标注者间的一致性水平，表明其性能与人类专家相当。
• 将修辞角色识别作为辅助任务显著提升了摘要生成性能，优于单任务基线模型。
• 基于 MMR 的选择机制有效减少了冗余，同时保持了与原文内容的高度相关性。
• 法律专家的定性评估确认，该模型生成的摘要至少与人工标注者生成的摘要质量相当。
• 尽管定量得分更高，但专家在定性评估中更偏好单任务模型，表明在法律摘要中 ROUGE 指标与人类判断之间可能存在权衡。
• 该模型在 BVA 的 PTSD 补偿案件数据集上具有良好的泛化能力，但在更广泛多样的法律领域或事实模式下，性能可能有所差异。