[论文解读] Legal Question-Answering in the Indian Context: Efficacy, Challenges, and Potential of Modern AI Models

Shubham Kumar Nigam, Shubham Kumar Mishra+3 more|arXiv (Cornell University)|Sep 26, 2023

Topic Modeling被引用 5

一句话总结

本研究评估了现代人工智能模型在印度刑事法律领域的法律问答（AILQA）表现，采用优化的提示工程与嵌入策略，基于GPT-3 Davinci模型。结果表明，基于GPT-3的生成式模型在准确性和相关性方面优于ChatGPT和人类律师，其中Ada + Davinci组合获得最高专家评分且幻觉现象最少。

ABSTRACT

Legal QA platforms bear the promise to metamorphose the manner in which legal experts engage with jurisprudential documents. In this exposition, we embark on a comparative exploration of contemporary AI frameworks, gauging their adeptness in catering to the unique demands of the Indian legal milieu, with a keen emphasis on Indian Legal Question Answering (AILQA). Our discourse zeroes in on an array of retrieval and QA mechanisms, positioning the OpenAI GPT model as a reference point. The findings underscore the proficiency of prevailing AILQA paradigms in decoding natural language prompts and churning out precise responses. The ambit of this study is tethered to the Indian criminal legal landscape, distinguished by its intricate nature and associated logistical constraints. To ensure a holistic evaluation, we juxtapose empirical metrics with insights garnered from seasoned legal practitioners, thereby painting a comprehensive picture of AI's potential and challenges within the realm of Indian legal QA.

研究动机与目标

• 评估现代人工智能模型在印度独特刑事法律体系内回答复杂法律问题的有效性。
• 识别适用于印度法律领域任务的最优嵌入与问答模型组合。
• 通过专家评分评估，比较生成式人工智能模型与人类法律专家在可靠性与准确性方面的表现。
• 通过构建全面的评估框架，弥补印度法律问答数据集与基准的不足。
• 探索少样本提示工程与思维链技术在提升法律人工智能系统推理能力方面的潜力。

提出的方法

• 采用OpenAI的GPT-3 Davinci模型作为法律问答的基础生成模型。
• 评估了八种实验配置，结合四种嵌入模型（Ada、Instructor、BM25和GPT-3）与两种问答模型（Davinci和Flan-UL2）。
• 应用句法评估指标（ROUGE-1、ROUGE-2、ROUGE-L、BLEU）以及基于MPNET嵌入的语义相似度。
• 通过5分制评分体系开展专家评估，邀请法律从业者对答案质量、相关性与准确性进行评定。
• 采用提示工程，引导GPT-3模型从完整法律语料库中生成上下文恰当的答案。
• 采用检索增强生成方法，结合BM25进行初始检索，GPT-3负责生成答案。

实验结果

研究问题

• RQ1 不同嵌入与问答模型组合在生成印度刑事法律问题准确答案方面的表现如何？
• RQ2 基于GPT-3的模型是否能在印度法律语境下的法律问答任务中超越传统检索系统与ChatGPT？
• RQ3 生成式人工智能模型在答案质量与相关性方面，与专家法律判断的契合程度如何？
• RQ4 提示工程在减少幻觉与提升法律人工智能响应事实一致性方面发挥何种作用？
• RQ5 语义与句法评估指标在法律问答系统中与人类专家评分的相关性如何？

主要发现

• 基于GPT-3 (Ada)的嵌入模型在生成高质量法律问答答案方面优于其他嵌入模型。
• GPT-3 (Davinci)模型在所有评估指标中，包括专家评分，均持续提供最高答案质量。
• Ada + Davinci组合获得最高平均专家评分（5分制中为4.2分），其中50个回答中有21个被评为‘5’（优秀）。
• 通过优化提示工程的GPT-3模型生成的答案在准确性和相关性方面超越了人类律师，且未出现任何幻觉现象。
• Flan-UL2与LongFormer模型在语义理解与专家一致性方面表现欠佳，专家评分平均低于5分制中的2.0分。
• BM25 + Davinci流程的表现劣于所有基于GPT-3的配置，表明仅依赖检索的方法不足以应对复杂的法律推理任务。