[論文レビュー] Justifiable Artificial Intelligence: Engineering Large Language Models for Legal Applications

Sabine Wehnert|arXiv (Cornell University)|Nov 27, 2023

Artificial Intelligence in Law被引用数 5

ひとこと要約

本稿では、大規模言語モデル（LLMs）の法的応用における説明可能AI（XAI）の代替として、正当化可能人工知能（JAI）を提唱する。LLMの出力を信頼できる出所からの検証可能な証拠——主張を支持するものと反対するもの——に基づいて根拠づけることで、JAIは法的専門家がAIが生成した推論を評価・検証できるようにし、LLMが内在的に持つ「幻覚現象」と透徹性の欠如にもかかわらず、信頼性と責任性を高める。

ABSTRACT

In this work, I discuss how Large Language Models can be applied in the legal domain, circumventing their current drawbacks. Despite their large success and acceptance, their lack of explainability hinders legal experts to trust in their output, and this happens rightfully so. However, in this paper, I argue in favor of a new view, Justifiable Artificial Intelligence, instead of focusing on Explainable Artificial Intelligence. I discuss in this paper how gaining evidence for and against a Large Language Model's output may make their generated texts more trustworthy - or hold them accountable for misinformation.

研究の動機と目的

• LLMの不透明性と幻覚現象の傾向により、法的分野における信頼性が欠如している問題に対処する。
• モデルの解釈可能性に焦点を当てる説明可能AI（XAI）から、根拠に基づく検証に重点を置く正当化可能AI（JAI）への移行を提唱する。
• 生成された主張を支持する・反対する両方の信頼できる出所を提示することで、法的専門家がLLM出力を評価できるようにする。
• 体系的な証拠の引用を通じて、法的AI応用分野における誤情報とバイアスのリスクを低減する。
• 高リスクな法的文脈におけるLLMの責任ある導入のための実用的フレームワークとして、JAIを位置づける。

提案手法

• LLMの主張を支持するか反対するかを特定するため、情報取得と含意分類を統合する。
• LLM出力を引用可能な信頼できる法的文書に根拠づける、リtrieval-augmented generation（RAG）技術を活用する。
• 外部証拠を用いてLLMが生成した主張の正確性を検証するための事実確認パイプラインを適用する。
• 二重証拠フレームワークを構築する：両方の立場の証拠を提示することで、バランスの取れた評価を可能にする。
• 意味的類似性や自然言語推論（NLI）などの既存のNLP技術を活用し、取得した証拠の関連性と整合性を評価する。
• LLMが単なる生成者ではなく、出力の根拠を追跡可能な出所を引用・正当化できる監査者としても機能するシステムを設計する。

Figure 1: Pipeline for prompting an LLM to extract evidence from documents, adapted from Louis et al. [ 65 ] .

実験結果

リサーチクエスチョン

• RQ1 LLMの解釈可能性に欠如しているにもかかわらず、法的応用分野におけるLLMの信頼性をどのように高められるか？
• RQ2 説明可能AI（XAI）の代替として、法的LLM出力における責任性と検証可能性を保証する方法は何か？
• RQ3 信頼できる法的出所からの証拠を体系的に取得・引用することで、LLMが生成した主張をどのように正当化できるか？
• RQ4 法的推論における正当化可能AIフレームワークを実装するにあたり、技術的および倫理的課題は何か？
• RQ5 支持および反対の両方の証拠を提示する二重証拠アプローチは、法的AIシステムにおけるユーザーの信頼性と意思決定を向上させることができるか？

主な発見

• 正当化可能人工知能（JAI）は、モデルの透明性ではなく検証可能な証拠に重きを置くことで、説明可能AI（XAI）の実用的代替手段を提供する。
• LLMが生成した主張は、それらを支持または反対する信頼できる法的出所を取得・引用することで検証可能である。
• このフレームワークにより、法的専門家は証拠を検討することでAI出力の信頼性を評価でき、未検証の主張への依存を減らすことができる。
• 現在のLLMは幻覚現象とデータの出典不明性に欠けることが問題であるが、JAIは証拠の引用によってこれを緩和する。
• JAIは完全なモデル解釈性を必要とせず、代わりに追跡可能な引用可能な出所を通じて責任性を確保する。
• 事実確認と情報取得をLLMに統合することで、法的AI応用分野における信頼性を顕著に向上させることができる。

Figure 2: Pipeline for fact-checking a claim made by an LLM