[论文解读] Legal Extractive Summarization of U.S. Court Opinions

E.Nussbaumer A.Bauer, Dominik Stammbach+2 more|arXiv (Cornell University)|May 15, 2023

Artificial Intelligence in Law被引用 6

一句话总结

该论文提出 MemSum，一种基于强化学习的美国法院判例摘要模型，基于包含 430,000 份文档的语料库进行训练，其中包含人工标注的关键段落。MemSum 在自动指标和人工评估中均优于基于 Transformer 的模型与基线模型，实现了高达 100 倍压缩率的高质量摘要，同时保留了关键的法律论点。

ABSTRACT

This paper tackles the task of legal extractive summarization using a dataset of 430K U.S. court opinions with key passages annotated. According to automated summary quality metrics, the reinforcement-learning-based MemSum model is best and even out-performs transformer-based models. In turn, expert human evaluation shows that MemSum summaries effectively capture the key points of lengthy court opinions. Motivated by these results, we open-source our models to the general public. This represents progress towards democratizing law and making U.S. court opinions more accessible to the general public.

研究动机与目标

• 为解决长篇美国法院判例对非专业人士和法律从业者而言难以理解的问题。
• 开发一种高精度的司法判例抽取式摘要模型，该任务因法律文本的复杂性与长文档长度而具有挑战性。
• 不仅通过自动化指标，还通过专家人工评估来评估模型性能，以确保法律内容的准确性。
• 通过开源训练好的模型，实现法律文档的普惠化，供公众与学术界使用。

提出的方法

• 训练了一个基于强化学习的模型 MemSum，根据人工标注的黄金摘要，从长篇司法判例中选择关键句子。
• 利用包含 430,000 份美国法院判例的大型语料库，其中标注了关键段落，用于监督预训练与微调。
• 在强化学习框架中引入奖励模型，基于与黄金标准的相关性与连贯性来优化摘要质量。
• 使用 ROUGE 等自动化指标与人工评估，将 MemSum 与强基线模型（包括长上下文 Transformer 架构）进行对比。
• 通过聚焦于抽取式生成（即选择现有句子而非抽象生成）来设计模型，以处理长文档。
• 由律师标注员参与盲评，比较机器生成摘要与人工撰写摘要在质量与法律准确性方面的表现。

实验结果

研究问题

• RQ1 基于强化学习的抽取式摘要模型是否能在长篇美国法院判例摘要任务中超越基于 Transformer 的模型？
• RQ2 机器生成的摘要在多大程度上保留了长篇司法判例中的关键法律与政策论点？
• RQ3 MemSum 在自动化指标与专家人工评估中的表现与强基线相比如何？
• RQ4 在大规模司法判例语料库上训练的模型是否能在不同法律领域与判例类型中实现良好泛化？
• RQ5 开源此类模型对公众获取法律信息以及法律普惠化有何影响？

主要发现

• MemSum 在自动化摘要质量指标上表现最佳，优于标准的基于 Transformer 的模型与其他基线模型。
• 在人工评估中，MemSum 生成的摘要被评价为能有效捕捉长篇法院判例的核心要点，与人工标注摘要高度一致。
• 该模型实现了高达 100 倍的压缩率，仅提取最关键的句子，同时保留了核心法律推理与政策论点。
• 在 *Dobbs v. Jackson* 案件中，多数意见与异议意见的摘要均高度代表了原文的核心法律内容。
• 专家人工评估者认为，机器生成的摘要在质量上与人工撰写摘要相当，尤其在法律准确性与论点覆盖方面表现优异。
• MemSum 模型在 GitHub 上的开源，使法律从业者、研究人员与公众能够更广泛地获取法律信息，推动了法律信息的普惠化。