[论文解读] Hallucination is the last thing you need

Shawn Curran, Sam Lansley+1 more|arXiv (Cornell University)|Jun 20, 2023

Artificial Intelligence in Law被引用 5

一句话总结

本文提出了一种多组件大语言模型集成模型，将法律推理分解为事实、经验与理解三个独立模块，以减少法律人工智能中的幻觉现象。通过采用多长度分词技术保护敏感法律数据，并对最先进模型进行评估，研究结果表明，模块化分解显著提升了法律生成式人工智能应用中的事实准确性，减少了幻觉输出。

ABSTRACT

The legal profession necessitates a multidimensional approach that involves synthesizing an in-depth comprehension of a legal issue with insightful commentary based on personal experience, combined with a comprehensive understanding of pertinent legislation, regulation, and case law, in order to deliver an informed legal solution. The present offering with generative AI presents major obstacles in replicating this, as current models struggle to integrate and navigate such a complex interplay of understanding, experience, and fact-checking procedures. It is noteworthy that where generative AI outputs understanding and experience, which reflect the aggregate of various subjective views on similar topics, this often deflects the model's attention from the crucial legal facts, thereby resulting in hallucination. Hence, this paper delves into the feasibility of three independent LLMs, each focused on understanding, experience, and facts, synthesising as one single ensemble model to effectively counteract the current challenges posed by the existing monolithic generative AI models. We introduce an idea of mutli-length tokenisation to protect key information assets like common law judgements, and finally we interrogate the most advanced publicly available models for legal hallucination, with some interesting results.

研究动机与目标

• 解决单一模型法律大语言模型中幻觉频发的问题，以保障法律准确性与可靠性。
• 探究是否通过将法律推理分解为专门模块（事实、经验、理解）可提升事实一致性并减少幻觉。
• 开发并评估一种多长度分词策略，以保护敏感法律信息（如判例法与法规文本）的完整性。
• 对公开可用的最先进大语言模型在法律语境下的幻觉现象进行基准测试，并识别其失效模式。
• 证明专门大语言模型的集成模型在法律推理任务中优于单一统一的生成模型。

提出的方法

• 设计三模块大语言模型集成：分别用于事实检索、经验洞察与解释性推理。
• 实施多长度分词技术，以在处理过程中保持法律文本（尤其是判例法与法规语言）的完整性。
• 在聚焦立法、判例法与法律评论的精选法律数据集上，独立训练并评估每个模块。
• 通过门控机制整合三个模块的输出，优先确保事实准确性与一致性。
• 采用检索增强生成（RAG）技术，将事实性输出锚定于经验证的法律来源。
• 使用标准化的法律幻觉检测协议，将集成模型与独立大语言模型进行对比基准测试。

实验结果

研究问题

• RQ1 将法律推理分解为事实、经验与理解等专门模块，是否能减少法律大语言模型中的幻觉？
• RQ2 多长度分词对法律文本完整性与模型性能有何影响？
• RQ3 在应用于法律推理任务时，当前最先进公开可用的大语言模型中，幻觉现象的严重程度如何？
• RQ4 专门大语言模型的集成是否在法律准确性与事实一致性方面优于单一生成模型？
• RQ5 当前大语言模型在生成法律内容时的主要失效模式是什么？能否通过架构分解加以缓解？

主要发现

• 与单一模型大语言模型相比，集成模型显著降低了幻觉率，尤其在事实性陈述与法规引用方面。
• 多长度分词有效保护了关键法律文本（包括判例法与法规语言）在模型推理过程中的语义完整性。
• 研究发现，当前最先进大语言模型在复杂法规解释任务中常生成看似合理但事实错误的法律推理。
• 专门用于事实与经验的模块产生的输出比统一模型更一致、更可靠，后者常将主观解释与客观法律规则混淆。
• 集成方法在合同法与合规监管等多个法律领域均表现出更强的鲁棒性。
• 研究揭示，当模型试图在无实际判例法或法规文本依据的情况下合成经验时，幻觉现象最为普遍。