[论文解读] How well do SOTA legal reasoning models support abductive reasoning?

Ha-Thanh Nguyen, Randy Goebel+3 more|arXiv (Cornell University)|Apr 14, 2023

Artificial Intelligence in Law被引用 7

一句话总结

本文在一项新构建的、经逻辑增强的498,697个样本数据集上，评估了当前最先进的（SOTA）法律推理模型在归纳推理（abductive reasoning）方面的能力，这是法律人工智能中一个关键但研究不足的能力。研究发现，尽管在其他法律自然语言处理任务中表现优异，当前SOTA法律模型——包括微调过的BERT变体和GPT-3——在归纳推理任务上的表现反而不如原始的BERT Base模型，揭示了当前法律AI系统在该方面存在关键局限性。

ABSTRACT

We examine how well the state-of-the-art (SOTA) models used in legal reasoning support abductive reasoning tasks. Abductive reasoning is a form of logical inference in which a hypothesis is formulated from a set of observations, and that hypothesis is used to explain the observations. The ability to formulate such hypotheses is important for lawyers and legal scholars as it helps them articulate logical arguments, interpret laws, and develop legal theories. Our motivation is to consider the belief that deep learning models, especially large language models (LLMs), will soon replace lawyers because they perform well on tasks related to legal text processing. But to do so, we believe, requires some form of abductive hypothesis formation. In other words, while LLMs become more popular and powerful, we want to investigate their capacity for abductive reasoning. To pursue this goal, we start by building a logic-augmented dataset for abductive reasoning with 498,697 samples and then use it to evaluate the performance of a SOTA model in the legal field. Our experimental results show that although these models can perform well on tasks related to some aspects of legal text processing, they still fall short in supporting abductive reasoning tasks.

研究动机与目标

• 探究当前最先进的（SOTA）法律推理模型是否具备归纳推理能力，这是法律论证与解释中的核心技能。
• 填补法律AI模型在归纳推理方面评估的空白，尽管该能力在法律理论与实践中至关重要，却常被忽视。
• 构建一个可靠、经逻辑增强的法律语境下归纳推理数据集，以支持严谨的评估。
• 将SOTA法律模型（包括微调过的BERT变体和GPT-3）在归纳推理任务上的表现与通用的BERT Base模型进行比较。
• 揭示当前法律AI预训练方法在归纳推理方面的局限性，特别是其与归纳推理模式之间缺乏对齐。

提出的方法

• 在L’ART数据集中重新定义归纳推理任务，以提高可靠性和清晰度，重点聚焦于从观察中生成假设。
• 通过重新定义和增强L’ART与${\alpha}NLI$数据集中的现有样本，构建了一个包含498,697个样本的逻辑增强型数据集。
• 在法律领域对多种SOTA Transformer模型进行微调，包括BERT Base、Legal BERT、BERTLaw、BERT Large和NFSP。
• 使用保留的测试集和重复实验评估模型在二分类归纳推理任务上的性能，以确保可靠性。
• 将GPT-3的零样本推理作为参考，但由于领域不匹配且未进行微调，未将其用于直接比较。
• 使用验证准确率监控过拟合现象，并确保各次运行间性能一致。

实验结果

研究问题

• RQ1 与通用模型相比，SOTA法律推理模型在归纳推理任务上的表现如何？
• RQ2 在法律文本上微调BERT是否能提升其归纳推理能力，相比原始的BERT Base？
• RQ3 模型规模和架构对法律NLP任务中归纳推理性能有何影响？
• RQ4 在未进行微调的情况下，现有大型语言模型（如GPT-3）能否在法律语境中执行归纳推理？
• RQ5 训练数据的结构与质量在多大程度上影响法律AI模型的归纳推理性能？

主要发现

• 原始的BERT Base模型在归纳推理任务上的表现优于所有微调过的法律模型，包括Legal BERT、BERTLaw和BERT Large，其测试准确率达到61.62%。
• 法律专用模型如Legal BERT和BERTLaw表现较差（分别达到56.19%和53.71%的测试准确率），表明其数据可能存在偏向法律推理而非归纳推理的倾向。
• 尽管参数量更大，BERT Large在测试中的准确率仅为50.00%，表明模型规模的增加并不能保证在归纳推理任务上的性能提升。
• GPT-3的零样本性能（准确率为49.59%）在所有测试模型中表现最差，凸显了零样本泛化在法律归纳推理中的局限性。
• 验证集与测试集的性能在各次运行中几乎完全一致，表明不存在显著的过拟合现象，从而增强了评估结果的可靠性。
• 结果表明，当前法律AI模型的预训练策略与归纳推理不匹配，因为这些模型并未从法律文本中学习到必要的假设生成模式。