[論文レビュー] Explaining Legal Concepts with Augmented Large Language Models (GPT-4)

Jaromír Šavelka, Kevin D. Ashley+3 more|arXiv (Cornell University)|Jun 15, 2023

Artificial Intelligence in Law被引用数 19

ひとこと要約

本論文は、法定用語の直接的なGPT-4の説明と、取得された裁判例の文を組み込んだ拡張GPT-4の説明を比較し、拡張が事実性と全体的な品質を向上させ、誤情報の発生を減らすことを示した。

ABSTRACT

Interpreting the meaning of legal open-textured terms is a key task of legal professionals. An important source for this interpretation is how the term was applied in previous court cases. In this paper, we evaluate the performance of GPT-4 in generating factually accurate, clear and relevant explanations of terms in legislation. We compare the performance of a baseline setup, where GPT-4 is directly asked to explain a legal term, to an augmented approach, where a legal information retrieval module is used to provide relevant context to the model, in the form of sentences from case law. We found that the direct application of GPT-4 yields explanations that appear to be of very high quality on their surface. However, detailed analysis uncovered limitations in terms of the factual accuracy of the explanations. Further, we found that the augmentation leads to improved quality, and appears to eliminate the issue of hallucination, where models invent incorrect statements. These findings open the door to the building of systems that can autonomously retrieve relevant sentences from case law and condense them into a useful explanation for legal scholars, educators or practicing lawyers alike.

研究の動機と目的

• 法令の条文に含まれる開かれた性質の法的用語を法的専門家に説明するGPT-4の能力を評価する。
• 事実性とトレーニングデータへの依存性の観点から、直接的なGPT-4の説明の限界を評価する。
• 法的情報検索（裁判例の文）を用いてGPT-4を拡張することが、幻覚を減らし説明品質を向上させるかを検証する。
• 裁判例から説明文を取得し、それを説明に凝縮するパイプラインを実演する。
• 専門的な法務場面で、拡張GPT-4がベースラインGPT-4より優れているかのベンチマークを提供する。

提案手法

• ベースライン: 外部文脈なしに、出典条項の用語を直接GPT-4に説明させる。
• 拡張: 用語を参照する裁判例の高価値な説明文を取得し、それをGPT-4のプロンプトに注入する。
• 拡張には、法解釈のデータセットで42語句と1,853の高価値文を使用する。
• 各語句につき、短い（1文）と長い（10文）の2つの説明を作成する。
• 二人の法学者が、五つの品質次元で対になる説明を注釈付けする。
• ベースラインと拡張出力の事実性、明確さ、関連性、情報の豊かさ、適合性を比較する。

Figure 2: System Architectures Diagrams. The top part shows the baseline directly applying the LLM. The bottom part describes the components of the augmented architecture that relying on the information retrieval component.

実験結果

リサーチクエスチョン

• RQ1 法令解釈のためのGPT-4による直接的な説明生成の制限は何か。
• RQ2 関連する裁判例の文をGPT-4に組み込むと、事実性、明確さ、関連性、情報量、適切性の説明品質が向上するか。

主な発見

• 拡張GPT-4の説明は、短長い説明の両方で、注釈者全体を通じてベースラインより一般的に好まれた。
• 拡張された説明は、ベースラインの事実性評価で観察された存在しない引用や誤解表現の問題を排除する。
• 拡張された説明は、ベースラインと比較して明確さ、関連性、情報の豊かさ、適合性を向上させる。
• ベースラインの説明は幻覚や引用の不正確さを示すことがあるが、多くの引用は実在する一方で、内容はしばしば裁判例を誤って表現する。
• 情報検索コンポーネントが関連性の低いまたは誤解を招く裁判例の内容を提供する場合、拡張でも問題を完全には除去できない。高品質なIRが極めて重要。
• 全体として、拡張LLMは法学教育と実務のために法定用語解釈の正確な要約を自動生成する可能性を示している。

Figure 3: Short Explanation Preferences. Red corresponds to the preferences for the explanations generated by the baseline system while green indicates preferences for the explanations coming from the augmented LLM. The yellow/orange informs about the number of instances where no preference was indi