[论文解读] Legal Syllogism Prompting: Teaching Large Language Models for Legal Judgment Prediction

Cong Jiang, Xiaolei Yang|arXiv (Cornell University)|Jul 17, 2023

Artificial Intelligence in Law被引用 4

一句话总结

本文提出法律三段论提示（LoT），一种零样本提示方法，通过将推理结构化为法律三段论（大前提：法律，小前提：事实，结论：判决），教导大语言模型（LLMs）预测法律判决。在CAIL2018中文刑事案件数据集上，LoT在零样本法律判决预测中优于基线模型和思维链提示，通过无需微调或标注样本的结构化法律推理提升了模型可解释性。

ABSTRACT

Legal syllogism is a form of deductive reasoning commonly used by legal professionals to analyze cases. In this paper, we propose legal syllogism prompting (LoT), a simple prompting method to teach large language models (LLMs) for legal judgment prediction. LoT teaches only that in the legal syllogism the major premise is law, the minor premise is the fact, and the conclusion is judgment. Then the models can produce a syllogism reasoning of the case and give the judgment without any learning, fine-tuning, or examples. On CAIL2018, a Chinese criminal case dataset, we performed zero-shot judgment prediction experiments with GPT-3 models. Our results show that LLMs with LoT achieve better performance than the baseline and chain of thought prompting, the state-of-art prompting method on diverse reasoning tasks. LoT enables the model to concentrate on the key information relevant to the judgment and to correctly understand the legal meaning of acts, as compared to other methods. Our method enables LLMs to predict judgment along with law articles and justification, which significantly enhances the explainability of models.

研究动机与目标

• 解决现有基于深度学习和微调的法律判决预测（LJP）模型缺乏可解释性的问题。
• 使大语言模型（LLMs）能够在无需微调或标注样本的情况下执行零样本法律判决预测。
• 通过按照法律三段论结构化推理——即法律、事实与判决——来增强模型的可解释性，以模仿司法推理过程。
• 提升模型在区分相关事实与适当罪名时的敏感性与选择性。
• 证明大语言模型仅通过提示框架即可生成在法律上一致且可解释的判决。

提出的方法

• LoT引入一种提示模板，明确将推理划分为三个部分：大前提（法律规则）、小前提（案件事实）和结论（判决）。
• 该方法依赖于简单的指令，如“让我们以法律三段论的方式思考”，以引导大语言模型生成结构化的演绎推理。
• 不使用微调或标注样本；模型直接从输入的案件描述和预训练知识生成三段论。
• 通过将输出格式限制为符合法律逻辑，利用大语言模型固有的推理能力，提升其对相关事实和法律规则的关注度。
• 在GPT-3上以零样本设置评估该方法，使用CAIL2018数据集，性能通过标准LJP指标进行衡量。
• 未来可使用后处理技术提升法律条文的准确性，但此并非核心方法的一部分。

实验结果

研究问题

• RQ1 像LoT这样的简单提示方法是否能在无需微调或标注样本的情况下，使大语言模型实现零样本法律判决预测？
• RQ2 将推理结构化为法律三段论是否能提升模型在聚焦相关事实与法律规则方面的选择性？
• RQ3 在法律判决预测的准确性和可解释性方面，LoT与思维链提示相比表现如何？
• RQ4 大语言模型是否仅通过三段论结构即可生成在法律上一致的判决，而无需在法律数据上进行显式训练？
• RQ5 LoT在基于单一连贯行为序列区分多个法律罪名时，能在多大程度上提升模型的敏感性？

主要发现

• 在CAIL2018数据集上，LoT在零样本法律判决预测中显著优于基线模型和思维链提示。
• 采用LoT的模型表现出更高的选择性，仅聚焦于与法律规则相关联的事实，避免了思维链输出中常见的无关细节。
• LoT通过正确地将多个行为归入单一法律罪名（如诈骗）而非过度拆分为多个罪名，提升了敏感性。
• 该方法通过生成包含适用法律条文和理由的完整三段论，增强了可解释性，与司法推理实践保持一致。
• LoT使大语言模型能够在零样本设置下，无需任何微调或示例演示，生成准确且具备完整法律推理的判决。
• 结果表明，法律三段论提示能有效激发大语言模型在法律任务中的演绎推理能力。