[论文解读] Legal Summarisation through LLMs: The PRODIGIT Project

Thiago Raulino Dal Pont, Federico Galli+4 more|arXiv (Cornell University)|Aug 4, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文介紹了 PRODIGIT 項目，該項目利用大型語言模型——特別是 GPT-4——生成高品質、基於訴訟爭議的義大利稅務法院判決摘要。專家評估顯示，此方法在性能上超越了傳統自然語言處理工具，證明僅透過提示工程的大型語言模型即可有效提取法律爭議、判決標準與關鍵字，而無需微調模型，為建立公開可存取、可搜尋的判決資料庫鋪平道路。

ABSTRACT

We present some initial results of a large-scale Italian project called PRODIGIT which aims to support tax judges and lawyers through digital technology, focusing on AI. We have focused on generation of summaries of judicial decisions and on the extraction of related information, such as the identification of legal issues and decision-making criteria, and the specification of keywords. To this end, we have deployed and evaluated different tools and approaches to extractive and abstractive summarisation. We have applied LLMs, and particularly on GPT4, which has enabled us to obtain results that proved satisfactory, according to an evaluation by expert tax judges and lawyers. On this basis, a prototype application is being built which will be made publicly available.

研究动机与目标

• 開發自動化系統，用於摘要義大利稅務法院判決，以支援法律專業人士。
• 評估大型語言模型（LLMs）如 GPT-4 在法律摘要上的有效性，與傳統自然語言處理方法進行比較。
• 從司法判決中提取具有法律意義的資訊，例如法律爭議、判決標準與關鍵字。
• 建立原型應用程式，供專家審閱並讓公眾可存取由人工智慧生成的稅法案例摘要。
• 評估基於訴訟爭議的摘要在索引與搜尋判決資料庫方面的可行性。

提出的方法

• 採用混合方法，結合抽取式與生成式摘要技術，同時使用傳統統計自然語言處理工具與先進的大型語言模型。
• 設計針對 GPT-4 的自訂提示，以生成基於訴訟爭議的摘要，專注於法律爭議與相應的判決標準。
• 透過提示工程實現關鍵字與文字片段的提取，以確保法律相關性與精確度。
• 在正式評估前，根據稅務律師專家的反饋，對提示進行迭代優化。
• 利用提取出的法律爭議與關鍵字建立概念圖，以實現判決資料庫的語義索引。
• 透過兩階段評估流程評估輸出結果：專家法律審查與經倫理委員會審查的問卷，以評估語言品質、完整性與正確性。

Figure 1: Evaluation score for extractive summaries

实验结果

研究问题

• RQ1 大型語言模型如 GPT-4 是否能在不進行微調的情況下，生成具有法律意義且高品質的義大利稅務法院判決摘要？
• RQ2 與傳統自然語言處理工具相比，基於大型語言模型的生成式摘要在準確性與法律專業人士的可用性方面表現如何？
• RQ3 基於訴訟爭議的摘要在多大程度上能透過語義索引提升判決資料庫的可發現性與可及性？
• RQ4 提示工程在實現可靠且一致的法律摘要方面發揮何種作用？
• RQ5 專家人為監督如何提升人工智慧生成法律摘要的可靠性與精煉程度？

主要发现

• 專家稅務法官與律師評估指出，由 GPT-4 生成的基於訴訟爭議的摘要在語言品質、完整性與正確性方面表現更優異。
• 最有效的摘要方法為基於訴訟爭議的摘要，其明確列出法律爭議與相應的判決標準。
• 僅透過提示工程——無需模型微調——即達成專家標準的成果，顯示大型語言模型在法律摘要任務中具備強大的零 shot 表現。
• 專家評估確認，基於大型語言模型的摘要在所有評估維度（包括相關性與連貫性）上均優於傳統自然語言處理工具。
• 本項目成功證明大型語言模型可有效提取有意義的法律爭議與關鍵字，進而支援建立用於判決資料庫索引的概念圖。
• 正在開發原型應用程式，讓法律專家可審閱與優化人工智慧生成的摘要，確保在公開部署前的品質與可靠性。

Figure 2: Evaluation score for abstractive summaries (first round)