[论文解读] LegiLM: A Fine-Tuned Legal Language Model for Data Compliance

Linkai Zhu, Yang Lu+4 more|arXiv (Cornell University)|Sep 9, 2024

Business Process Modeling and Analysis被引用 4

一句话总结

LegiLM 是一个针对 GDPR 合规性评估微调的法律语言模型，利用精心整理的 GDPR 法规、标注合同和隐私政策数据集。它在法律问答和合规性检测任务中优于通用模型和专用法律 LLM，准确率达到 68.05%，并生成高质量的解释，为基于人工智能的数据合规工具设立了新基准。

ABSTRACT

Ensuring compliance with international data protection standards for privacy and data security is a crucial but complex task, often requiring substantial legal expertise. This paper introduces LegiLM, a novel legal language model specifically tailored for consulting on data or information compliance. LegiLM leverages a pre-trained GDPR Fines dataset and has been fine-tuned to automatically assess whether particular actions or events breach data security and privacy regulations. By incorporating a specialized dataset that includes global data protection laws, meticulously annotated policy documents, and relevant privacy policies, LegiLM is optimized for addressing data compliance challenges. The model integrates advanced legal reasoning methods and information retrieval enhancements to enhance accuracy and reliability in practical legal consulting scenarios. Our evaluation using a custom benchmark dataset demonstrates that LegiLM excels in detecting data regulation breaches, offering sound legal justifications, and recommending necessary compliance modifications, setting a new benchmark for AI-driven legal compliance solutions. Our resources are publicly available at https://github.com/DAOLegalAI/LegiLM

研究动机与目标

• 为应对全球数据保护法规日益复杂的挑战，特别是 GDPR，该法规要求专家法律审查以确保合规。
• 减少法律专业人士在评估数据共享合同和隐私政策合规性时所需的手动工作量和时间。
• 开发一个领域特定的语言模型，整合法律推理、信息检索与微调指令调整，以实现准确的合规性评估。
• 创建一个公开可用、高准确率的工具，用于自动检测合同和数据交互事件中的数据法规违规行为。
• 通过在专注于 GDPR 和数据安全的定制化、专业化数据集上评估性能，为法律 AI 在数据合规领域建立基准。

提出的方法

• 在涵盖 GDPR 法规、判例法和真实世界数据共享合同的全面领域特定数据集上，对基础语言模型（SaulLM-7B）进行微调，所有合同均带有详细标注。
• 采用以法律推理和合规性解释为重点的指令微调，增强模型对复杂监管查询的解读与响应能力。
• 集成检索增强生成（RAG）技术，在推理过程中检索相关法律条文，以提升事实依据的准确性并减少幻觉现象。
• 采用多阶段训练流程，结合法律语料的预训练与合规性特定指令数据的监督微调，以优化法律问答任务的性能。
• 使用自定义基准数据集进行评估，包含真实世界的数据共享合同和 GDPR 合规政策示例，以确保实际应用的相关性。
• 专注于英语法律语境，重点聚焦数据交互行为、隐私条款以及 GDPR 下的安全义务。

实验结果

研究问题

• RQ1 微调后的法律语言模型是否能在检测数据共享合同中 GDPR 合规性违规方面，优于通用模型和现有法律 LLM？
• RQ2 使用标注法律数据集进行领域特定微调，在多大程度上提升了法律推理任务中的解释质量与事实准确性？
• RQ3 LegiLM 在与数据保护相关的法律问答任务中表现如何，特别是在评估数据处理活动合法性方面？
• RQ4 集成检索增强生成与指令微调对合规性检测准确率和推理可靠性有何影响？
• RQ5 一个基于 GDPR 特定数据训练的专用法律 LLM，是否能有效泛化到隐私与数据安全领域的实际合规挑战？

主要发现

• LegiLM 在 LegalBench-Instruct 基准测试中，法律问答任务的准确率达到 68.05%，F1 得分为 68.21，显著优于 GPT-4（准确率 42.35%）和 Qwen-1.5-72B（准确率 31.41%）。
• LegiLM 展现出高质量的法律解释，解释质量被评为‘高’，优于 GPT-4 和 Lawyer-LLaMA-13B 等模型，后者仅获‘中’等评价。
• 该模型在检测隐私政策和合同中的数据法规违规方面表现出色，能有效识别非合规的数据处理条款。
• 使用 GDPR 专属数据和标注合同进行领域特定微调，显著提升了合规性检测准确率与法律推理的可靠性。
• 在英文 GDPR 合规任务中，LegiLM 表现优于其他专用法律模型，如 InternLM-Law-7B 和 DISC-Law-7B，凸显语言与领域专业化的重要性。
• 模型表现表明，针对高质量、标注的法律语料进行有针对性的微调，是实现在数据合规领域法律 AI 最先进成果的关键。