[論文レビュー] Legal Extractive Summarization of U.S. Court Opinions

E.Nussbaumer A.Bauer, Dominik Stammbach+2 more|arXiv (Cornell University)|May 15, 2023

Artificial Intelligence in Law被引用数 6

ひとこと要約

本論文では、人間がアノテートしたキーパassageを含む43万件のドキュメントでトレーニングされた強化学習ベースの抽出的要約モデル、MemSumを紹介する。MemSumは自動評価指標および人間評価において、トランスフォーマー基盤モデルおよびベースラインモデルを上回り、核心的な法的主張を保持した高品質な要約を、最大100倍の圧縮率で生成する。

ABSTRACT

This paper tackles the task of legal extractive summarization using a dataset of 430K U.S. court opinions with key passages annotated. According to automated summary quality metrics, the reinforcement-learning-based MemSum model is best and even out-performs transformer-based models. In turn, expert human evaluation shows that MemSum summaries effectively capture the key points of lengthy court opinions. Motivated by these results, we open-source our models to the general public. This represents progress towards democratizing law and making U.S. court opinions more accessible to the general public.

研究の動機と目的

• 長大な米国連邦裁判所の判例文書を、専門家でない人々や法曹関係者にとってよりアクセスしやすくすることに取り組む。
• 法的テキストの複雑さと長大な文書長という課題を抱える司法判例文書の高精度抽出的要約モデルを開発すること。
• 自動評価指標に加え、専門家による人間評価を用いてモデルの性能を評価し、法的整合性を保証すること。
• トレーニング済みモデルをオープンソース化することで、法的文書へのアクセスを民主化し、一般および学術利用を促進すること。

提案手法

• 人間がアノテートしたゴール要約に基づき、長大な司法判例文書から重要な文を抽出する強化学習ベースのモデル、MemSumをトレーニングした。
• 43万件の米国連邦裁判所の判例文書と、その中でキーパassageがアノテートされた大規模データセットを用い、教師あり事前学習およびファインチューニングに活用した。
• ゴール基準要約との関連性および一貫性に基づき、要約品質を最適化するため、強化学習フレームワークに報酬モデルを導入した。
• ROUGEなどの自動評価指標と人間評価を用い、長文脈対応トランスフォーマー構造を含む強力なベースラインと比較した。
• 生成の抽出的アプローチ（抽象的生成ではなく、既存の文を抽出）に焦点を当てることで、長文書の処理を可能にした。
• 弁護士がアノテートする評価者による盲検評価を実施し、機械生成要約と人間が作成した要約の品質および法的正確性を比較した。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースの抽出的要約モデルは、長大な米国連邦裁判所の判例文書要約において、トランスフォーマー基盤モデルを上回ることができるか？
• RQ2 機械生成要約は、長大な司法判例文書に含まれる核心的な法的・政策的主張をどの程度保持しているか？
• RQ3 MemSumの性能は、自動評価指標および専門家による人間評価において、強力なベースラインと比較してどの程度優れているか？
• RQ4 司法判例文書の大規模データセットでトレーニングされたモデルは、多様な法的分野および意見タイプに一般化しやすいか？
• RQ5 このようなモデルをオープンソース化することは、一般の人々が法的情報をアクセスするのをどう影響するか、法の民主化にどのような影響を与えるか？

主な発見

• MemSumは自動要約品質指標において最高のパフォーマンスを達成し、標準的なトランスフォーマー基盤モデルおよび他のベースラインを上回った。
• 人間評価において、MemSumの要約は長大な裁判所の判例文書の核心的ポイントを的確に捉えていると評価され、人間がアノテートした要約と強い整合性を示した。
• モデルは最大100倍の圧縮比を達成し、核心的な法的根拠および政策的主張を保持したまま、最も重要な文だけを抽出した。
• 「Dobbs v. Jackson」の判例において、判例の多数意見および異議意見の要約ともに、元の判例文書の中心的法的内容を的確に反映していることが確認された。
• 専門家による人間評価では、機械生成要約が人間が作成した要約と同等の品質であると判断され、特に法的正確性および主張カバレッジの面で優れていた。
• MemSumモデルをGitHubでオープンソース化することで、法曹関係者、研究者、一般大衆がより広くアクセスできるようになり、法的情報の民主化が促進された。