[论文解读] Justifiable Artificial Intelligence: Engineering Large Language Models for Legal Applications

Sabine Wehnert|arXiv (Cornell University)|Nov 27, 2023

Artificial Intelligence in Law被引用 5

一句话总结

本文提出可信人工智能（JAI）作为大语言模型（LLMs）在法律领域应用中对可解释人工智能（XAI）的替代方案。通过将LLM输出建立在可验证的可信来源证据之上——包括支持和反对主张的证据——JAI使法律专业人士能够评估和验证AI生成的推理过程，从而在LLM固有的‘幻觉’和不透明性背景下增强信任与问责性。

ABSTRACT

In this work, I discuss how Large Language Models can be applied in the legal domain, circumventing their current drawbacks. Despite their large success and acceptance, their lack of explainability hinders legal experts to trust in their output, and this happens rightfully so. However, in this paper, I argue in favor of a new view, Justifiable Artificial Intelligence, instead of focusing on Explainable Artificial Intelligence. I discuss in this paper how gaining evidence for and against a Large Language Model's output may make their generated texts more trustworthy - or hold them accountable for misinformation.

研究动机与目标

• 解决由于LLM的不透明性和易产生幻觉而导致在法律领域缺乏信任的问题。
• 提出从可解释人工智能（XAI）向可信人工智能（JAI）的转变，聚焦于基于证据的验证，而非模型可解释性。
• 通过提供支持和反对生成主张的可验证来源，使法律专家能够评估LLM输出。
• 通过系统性地引用证据，减轻法律人工智能应用中错误信息和偏见的风险。
• 将JAI定位为在高风险法律场景中负责任部署LLM的实用框架。

提出的方法

• 整合信息检索与蕴含分类技术，识别支持或反驳LLM主张的相关法律来源。
• 采用检索增强生成（RAG）技术，将LLM输出与引用的可信法律文件相联系。
• 应用事实核查流水线，利用外部证据验证LLM生成陈述的准确性。
• 构建双重证据框架：同时呈现支持与反对的来源，以实现平衡评估。
• 利用现有的自然语言处理技术，如语义相似度和自然语言蕴涵（NLI），评估检索到证据的相关性与一致性。
• 设计一种系统，使LLM不仅是生成者，也是审计者，能够引用并用可追溯的来源来证明其输出。

Figure 1: Pipeline for prompting an LLM to extract evidence from documents, adapted from Louis et al. [ 65 ] .

实验结果

研究问题

• RQ1 尽管LLM缺乏可解释性，如何使其在法律应用中更具可信度？
• RQ2 可解释人工智能（XAI）的何种替代方案能确保法律LLM输出的问责性与可验证性？
• RQ3 如何系统性地检索并引用可靠法律来源的证据，以证明LLM生成的主张？
• RQ4 在实施法律推理的可信人工智能框架时，面临哪些技术和伦理挑战？
• RQ5 双重证据方法（支持与反对的来源）是否能提升用户对法律AI系统的信任与决策质量？

主要发现

• 可信人工智能（JAI）通过强调可验证证据而非模型透明度，为可解释人工智能（XAI）提供了一种切实可行的替代方案。
• LLM生成的主张可通过检索并引用支持或反驳其主张的可信法律来源来验证。
• 该框架使法律专业人士能够通过审查证据来评估AI输出的可信度，减少对未经验证断言的依赖。
• 当前LLM存在幻觉和数据来源缺失的问题，JAI通过证据引用有效缓解了这些问题。
• JAI无需完全的模型可解释性，而是通过可追溯、可引用的来源确保问责性。
• 将事实核查与信息检索技术整合到LLM中，可显著提升法律人工智能应用的可靠性。

Figure 2: Pipeline for fact-checking a claim made by an LLM