[论文解读] ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining

Mohamed Elaraby, Diane Litman|arXiv (Cornell University)|Sep 4, 2022

Topic Modeling被引用 13

一句话总结

该论文提出 ArgLegalSumm 方法，通过在输入序列中使用特殊标记整合论点角色标注（识别问题、理由和结论），以增强法律文档的生成式摘要。实验表明，将预测的论点角色融入 Longformer 模型可使 ROUGE 分数相比基线最高提升 0.41 分，且在论点性与摘要质量方面有显著提升，尤其在长篇法律文本中表现更优。

ABSTRACT

A challenging task when generating summaries of legal documents is the ability to address their argumentative nature. We introduce a simple technique to capture the argumentative structure of legal documents by integrating argument role labeling into the summarization process. Experiments with pretrained language models show that our proposed approach improves performance over strong baselines

研究动机与目标

• 为解决法律文档摘要的挑战，此类文档包含隐含且分散的论点结构，而标准生成式模型难以捕捉。
• 弥合论点挖掘与法律文本生成式摘要之间的鸿沟，因论点结构至关重要但常被忽略。
• 通过在序列到序列模型的输入中显式引入论点角色信息（问题、理由、结论），提升摘要性能。
• 评估预测的论点角色是否能在不显著降低性能的前提下，有效替代人工标注以提升摘要质量。

提出的方法

• 该方法首先使用微调后的论点角色分类器，为法律文档中的每个句子标注三种角色之一：问题、理由或结论。
• 随后通过在标注论点角色的句子前后插入特殊标记（如 <IRC>、</IRC>）或使用 6 种不同的角色专用标记，对原始文档进行增强。
• 将增强后的输入输入预训练的序列到序列模型（如 Longformer-LED 或 BART）以生成生成式摘要。
• 评估了两种标记方案：二元标记（突出论点性文本）与完整角色专用标记（显式标注每种角色）。
• 模型在包含 1,049 个加拿大法律案例的数据集上进行训练与评估，该数据集包含人工标注的摘要与论点角色。
• 通过 ROUGE 分数与论点性分析，将生成摘要与参考摘要及论点性句子子集进行对比，验证方法有效性。

实验结果

研究问题

• RQ1 将论点角色信息整合到生成式摘要模型的输入中，能否提升法律文档摘要的 ROUGE 分数？
• RQ2 使用细粒度的角色专用标记（如问题、理由、结论）是否比仅突出论点内容的二元标记表现更优？
• RQ3 当使用人工标注的论点角色与来自独立分类器的预测论点角色时，模型性能如何变化？
• RQ4 模型捕捉论点结构的能力是否依赖于其处理长输入序列的能力，例如 Longformer 的扩展上下文窗口？
• RQ5 生成摘要在多大程度上反映了参考摘要的论点内容，其与人工标注的论点性句子的重叠程度如何？

主要发现

• 使用 6 种角色专用标记的 arg-LED-base 模型在使用人工标注论点角色时，相比原始 LED-base 基线，ROUGE-1 提升 1.0 分，ROUGE-2 提升 4.0 分，ROUGE-L 提升 1.5 分。
• 2 标记方案（二元突出）使 ROUGE-2 相比基线提升 4.0 分，但 ROUGE-1 和 ROUGE-L 的提升有限。
• arg-BART-Large 未在性能上超越基线，可能是因为 BART 的上下文窗口有限，难以有效捕捉稀疏的论点信号。
• 使用预测的论点角色替代人工标注仅导致 ROUGE 分数下降 0.02 至 0.41 分，表明方法具有强鲁棒性与实际可行性。
• arg-LED-base 模型生成的摘要更具论点性，与参考摘要的论点性句子子集重叠显著更高，证实该方法聚焦于核心论点内容。
• 该模型生成的摘要比基线更短，表明其更关注论点性内容，减少了非必要文本的包含。