[論文レビュー] LegalBench: Prototyping a Collaborative Benchmark for Legal Reasoning

Neel Guha, Daniel E. Ho+2 more|arXiv (Cornell University)|Sep 13, 2022

Artificial Intelligence in Law被引用数 12

ひとこと要約

LegalBench は、IRAC フレームワークに基づいて多様な法的推論タイプを捉えるように構造化された、共同で作成されオープンなベンチマークであり、基礎モデルの法的推論タスク評価を目的としている。初期の結果から、より大きなモデルがより小さなモデルを上回ること、チェーン・オブ・トゥーク（CoT）プロンプティングがパフォーマンスを向上させること、分類タスクが応用や問題特定タスクよりも容易であること、法的文脈に特化したプロンプティング戦略の必要性が浮き彫りになることが示された。

ABSTRACT

Can foundation models be guided to execute tasks involving legal reasoning? We believe that building a benchmark to answer this question will require sustained collaborative efforts between the computer science and legal communities. To that end, this short paper serves three purposes. First, we describe how IRAC-a framework legal scholars use to distinguish different types of legal reasoning-can guide the construction of a Foundation Model oriented benchmark. Second, we present a seed set of 44 tasks built according to this framework. We discuss initial findings, and highlight directions for new tasks. Finally-inspired by the Open Science movement-we make a call for the legal and computer science communities to join our efforts by contributing new tasks. This work is ongoing, and our progress can be tracked here: https://github.com/HazyResearch/legalbench.

研究の動機と目的

• 法的推論タスクに特化した、専門的知識と複数ステップの推論を要する洗練されたタスクを評価するベンチマークが不足しているという問題に対処すること。
• コミュニティ主導で、データ中心のベンチマークを構築し、法的専門家およびコンピュータサイエンティストが継続的に新たな法的推論タスクを貢献できる仕組みを提供すること。
• 基礎モデルがどの種類の法的推論を効果的に実行できるか、そして法的文脈において最も効果的なプロンプティング戦略は何かを調査すること。
• 法律専門家を置き換えるのでなく支援する安全で倫理的かつ信頼性の高い AI ツールの開発を支援すること。
• 法的学識者とコンピュータサイエンティストの間で、法的 AI の評価と発展を促進するための学際的協働を促進すること。

提案手法

• ベンチマークは、法的推論タスクを体系的に分類するため、IRAC フレームワーク（問題、規則、適用、結論）に基づいて構造化されている。
• 44 つの初期タスクが、契約法、憲法、刑法、知的財産権の4つの法的分野にわたり収集された。
• 各タスクは、few-shot 学習問題として設計されており、自然言語による指示とラベル付きのデモンストレーションを用いて、基礎モデルを導く。
• タスクには分類、結論予測、問題特定が含まれ、F1（マクロ）スコアを用いてパフォーマンスが評価されている。
• チェーン・オブ・トゥーク（CoT）プロンプティングとコンテキスト内デモンストレーションの両方を体系的にテストし、モデルパフォーマンスへの影響を評価した。
• ベンチマークは GitHub 上にホスティングされており、コミュニティによる新規タスクの貢献と、新たな基礎モデルの継続的評価を可能としている。

実験結果

リサーチクエスチョン

• RQ1 基礎モデルが効果的に実行できる法的推論の種類（例：規則適用、問題特定、結論生成）は何か？
• RQ2 異なる基礎モデルアーキテクチャとサイズは、多様な法的推論タスクにおいてどのように性能を発揮するか？
• RQ3 チェーン・オブ・トゥークやコンテキスト内デモンストレーションなどのプロンプティング戦略が、法的推論パフォーマンスにどの程度向上効果をもたらすか？
• RQ4 法的言語の語彙的および構造的特性は、一般ドメインタスクと比較して、基礎モデルのパフォーマンスにどのように影響するか？
• RQ5 このベンチマークは、信頼性があり、監査可能で、倫理的に適切な法的実務用 AI ツールの開発を支援できるか？

主な発見

• より大きな基礎モデルは、すべての法的推論タスクタイプにおいて一貫してより優れたパフォーマンスを示し、モデルスケールとパフォーマンスの間には強い相関関係があることが示された。
• 同じアーキテクチャであっても、事前学習データやインstruct ファインチューニングの差異により、パフォーマンスに顕著な差が生じることが分かった。
• 基礎モデルは分類タスクで最もよく性能を発揮し、応用および問題特定タスクで最も低いパフォーマンスを示しており、複雑で複数ステップにわたる法的推論に困難を示していることが示唆された。
• 一部の問題特定タスクでは、コンテキスト内デモンストレーションが僅かな改善しかもたらさなかったため、パフォーマンスは主にプロンプトの明確さやモデルがタスク説明を理解しているかどうかに依存していることが示された。
• チェーン・オブ・トゥーク（CoT）プロンプティングは、複数のタスクタイプで顕著にパフォーマンスを向上させ、推論の透明性と正確性を高める価値があることが示された。
• 基礎モデルは情報抽出および関係抽出タスクでより強いパフォーマンスを示しており、これらの形式に適した法的推論タスクは、現在のモデルにとってより取り組みやすいことが示唆された。