[論文レビュー] Promises and pitfalls of artificial intelligence for legal applications

Sayash Kapoor, Peter Henderson+1 more|arXiv (Cornell University)|Jan 10, 2024

Artificial Intelligence in Law被引用数 7

ひとこと要約

本論文は、AIがまだ法曹業を再定義していないと主張し、情報処理、創造性/判断、予測の三分野にわたるAIの適用を検討し、評価の課題を浮き彫りにし、責任ある導入に向けた提言を提示している。

ABSTRACT

Is AI set to redefine the legal profession? We argue that this claim is not supported by the current evidence. We dive into AI's increasingly prevalent roles in three types of legal tasks: information processing; tasks involving creativity, reasoning, or judgment; and predictions about the future. We find that the ease of evaluating legal applications varies greatly across legal tasks, based on the ease of identifying correct answers and the observability of information relevant to the task at hand. Tasks that would lead to the most significant changes to the legal profession are also the ones most prone to overoptimism about AI capabilities, as they are harder to evaluate. We make recommendations for better evaluation and deployment of AI in legal contexts.

研究の動機と目的

• 情報処理、創造性/判断、予測的応用の各領域において、AIが法的タスクで意味のある支援を提供できる箇所を評価する。
• 各タスクカテゴリーにおけるAI性能評価の容易さ・難しさを評価する。
• 共通の評価の落とし穴を特定し、実世界での適用性と安全性を向上させる実践を提案する。
• 構成妥当性と利害関係者の関与に配慮した、法的文脈でのAI導入のベストプラクティスを推奨する。

提案手法

• Diver et al.の類型に沿って、法的AIアプリケーションを情報処理、創造性/判断、予測の3つの広いタイプに分類する。
• 各カテゴリーにわたるAI性能を評価するために、タスク特徴の評価の容易さと観測可能性を検討する。
• 法的タスクにおける言語モデルの主要な評価課題として、データ汚染、構成妥当性、プロンプト感度を分析する。
• 構成妥当性と実世界での適用性を高めるため、法的およびAIの観点からの提言を統合する。

実験結果

リサーチクエスチョン

• RQ1 AIが適用される法的タスクの主なカテゴリーは何で、それらは評価可能性の面でどのように異なるか？
• RQ2 法的タスクにおけるAI性能評価に影響を与える評価課題（例：データ汚染、構成妥当性、プロンプト感度）は何か？
• RQ3 法的文脈で信頼性が高く安全なAIの展開を最大化する実践と設定は何か？
• RQ4 過度な楽観主義や法則の誤用を避けるために、AIはどのように評価・展開されるべきか？

主な発見

• 評価の容易さはタスクによって異なる。情報処理タスクはしばしば明確な正解と観測可能な特徴を有し、評価を容易にする。
• 創造性、推論、判断タスクは単一の正解がなく、評価が難しく、結果として重要な法的タスクにおけるAI能力に対する楽観的過ぎる見方を招く可能性がある。
• 生成系AIは情報処理の革命ではなく、特定のタスクによっては法的特化ツールと比べて性能が劣る可能性がある。
• データの汚染、構成妥当性の欠如、プロンプト感度などの評価問題が、表面的なAI性能を過大評価し、実世界の有用性を誤って伝える可能性がある。
• 推奨事項は、評価への法的専門家の関与、自然主義的かつタスク特異的な評価の開発、ユーザーへのAIの制限の明確な伝達を強調している。
• 誤ったまたは有害な出力のリスクを減らすため、観測性が高く堅牢な評価を備えた狭く明確に定義された設定でAIを展開する。