[論文レビュー] Legal Summarisation through LLMs: The PRODIGIT Project

Thiago Raulino Dal Pont, Federico Galli+4 more|arXiv (Cornell University)|Aug 4, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、GPT-4を特に活用する大規模言語モデル（LLM）を用いて、イタリアの租税裁判所判決の高品質で問題中心の要約を生成するPRODIGITプロジェクトを提示する。専門家による評価において、従来のNLPツールを上回った。プロンプト工学を用いたLLMは、ファインチューニングなしで法的問題、意思決定基準、キーワードを効果的に抽出できることを示し、公開可能で検索可能な判例データベースの実現に道を開く。

ABSTRACT

We present some initial results of a large-scale Italian project called PRODIGIT which aims to support tax judges and lawyers through digital technology, focusing on AI. We have focused on generation of summaries of judicial decisions and on the extraction of related information, such as the identification of legal issues and decision-making criteria, and the specification of keywords. To this end, we have deployed and evaluated different tools and approaches to extractive and abstractive summarisation. We have applied LLMs, and particularly on GPT4, which has enabled us to obtain results that proved satisfactory, according to an evaluation by expert tax judges and lawyers. On this basis, a prototype application is being built which will be made publicly available.

研究の動機と目的

• 法的専門家を支援するため、イタリアの租税裁判所判決の要約を自動化するシステムを開発すること。
• GPT-4のような大規模言語モデル（LLM）が、古典的NLP手法と比較して、法的要約においてどの程度効果的であるかを評価すること。
• 法的意味のある情報を、法的問題、意思決定基準、キーワードとして、司法判決文から抽出すること。
• 専門家レビューと一般公開を想定したAI生成要約のプロトタイプアプリケーションを構築すること。
• 問題中心の要約が、判例データベースのインデクシングと検索にどの程度改善をもたらすかの実現可能性を評価すること。

提案手法

• 古典的統計的NLPツールと最新のLLMを併用するハイブリッド手法を採用し、抽出的および要約的要約技術を統合した。
• GPT-4に問題中心の要約を生成させるために、法的問題とそれに対応する意思決定基準に焦点を当てたカスタムプロンプトを設計した。
• プロンプト工学を用いてキーワードおよびテクスト断片の抽出を実装し、法的関連性と正確性を保証した。
• 公式評価の前段階で、専門の租税弁護士からのフィードバックをもとに、プロンプトを段階的に改善した。
• 抽出された法的問題とキーワードを用いて概念的グラフを構築し、判例データベースの意味的インデクシングを可能にした。
• 2段階のプロセスで出力を評価した：専門家の法的レビューと、言語的品質、包括性、正確性を評価する倫理委員会承認済みのアンケート。

Figure 1: Evaluation score for extractive summaries

実験結果

リサーチクエスチョン

• RQ1 GPT-4のような大規模言語モデルは、ファインチューニングなしで、イタリアの租税裁判所判決について、法的に意味のある高品質な要約を生成できるか？
• RQ2 LLMを用いた要約的要約は、古典的NLPツールと比較して、法的専門家にとっての正確性と使いやすさの面でどの程度優れているか？
• RQ3 問題中心の要約は、意味的インデクシングを通じて、判例データベースの検索可能性とアクセス性をどの程度向上できるか？
• RQ4 プロンプト工学は、LLMを用いた信頼性の高い一貫性のある法的要約を達成するために果たす役割は何か？
• RQ5 専門家の人的監視は、AI生成法的要約の信頼性と洗練度をどの程度向上させられるか？

主な発見

• 専門の租税裁判官および弁護士による評価において、GPT-4が生成した問題中心の要約は、言語的品質、包括性、正確性の面で優れていると評価された。
• 最も効果的な要約アプローチは、法的問題とそれに対応する意思決定基準を明示的に提示する問題中心の要約であった。
• ファインチューニングなしにプロンプト工学のみで、専門基準を満たす結果が得られた。これは、LLMが法的要約において強いゼロショット性能を示していることを示している。
• 専門家による評価で、LLMベースの要約が、関連性や一貫性を含め、すべての評価次元で古典的NLPツールを上回っていることが確認された。
• 本プロジェクトは、LLMが意味のある法的問題とキーワードを抽出できることを成功裏に実証し、判例データベースのインデクシングに向けた概念的グラフの構築を可能にした。
• 法的専門家がAI生成要約をレビュー・洗練できるプロトタイプアプリケーションが開発中であり、一般公開前の品質と信頼性を保証する。

Figure 2: Evaluation score for abstractive summaries (first round)