[論文レビュー] A Multi-Task Benchmark for Korean Legal Language Understanding and Judgement Prediction

Wonseok Hwang, Dongjun Lee+3 more|arXiv (Cornell University)|Jun 10, 2022

Artificial Intelligence in Law被引用数 14

ひとこと要約

本稿は、147,000件の法的先例、6つの多様なNLPタスク（分類、判決予測、要約）およびLCube言語モデルを備えた、韓国法的言語理解と判決予測のための最初の大規模マルチタスクベンチマーク「LBox Open」を紹介する。これは韓国法的AI分野における最先端のパフォーマンスを実現し、LCubeはその小型さにもかかわらず分類タスクで優れた結果を示す。また、英語以外の法的制度におけるマルチリンガル法的AI研究の基盤を築く。

ABSTRACT

The recent advances of deep learning have dramatically changed how machine learning, especially in the domain of natural language processing, can be applied to legal domain. However, this shift to the data-driven approaches calls for larger and more diverse datasets, which are nevertheless still small in number, especially in non-English languages. Here we present the first large-scale benchmark of Korean legal AI datasets, LBOX OPEN, that consists of one legal corpus, two classification tasks, two legal judgement prediction (LJP) tasks, and one summarization task. The legal corpus consists of 147k Korean precedents (259M tokens), of which 63k are sentenced in last 4 years and 96k are from the first and the second level courts in which factual issues are reviewed. The two classification tasks are case names (11.3k) and statutes (2.8k) prediction from the factual description of individual cases. The LJP tasks consist of (1) 10.5k criminal examples where the model is asked to predict fine amount, imprisonment with labor, and imprisonment without labor ranges for the given facts, and (2) 4.7k civil examples where the inputs are facts and claim for relief and outputs are the degrees of claim acceptance. The summarization task consists of the Supreme Court precedents and the corresponding summaries (20k). We also release realistic variants of the datasets by extending the domain (1) to infrequent case categories in case name (31k examples) and statute (17.7k) classification tasks, and (2) to long input sequences in the summarization task (51k). Finally, we release LCUBE, the first Korean legal language model trained on the legal corpus from this study. Given the uniqueness of the Law of South Korea and the diversity of the legal tasks covered in this work, we believe that LBOX OPEN contributes to the multilinguality of global legal research. LBOX OPEN and LCUBE will be publicly available.

研究の動機と目的

• 韓国における、特に英語以外の法的制度を対象とした、大規模で多様かつマルチリンガルな法的AIデータセットの不足に対処すること。
• 複数の法的NLPタスクをカバーする包括的なベンチマークを提供することで、データ駆動型法的AIモデルの開発を支援すること。
• 整理された法的コーパスを用いたドメイン特化型事前学習により、高性能な法的言語モデリングを実現すること。
• 韓国独自の法的構造とタスクの多様性を特徴とするベンチマークを確立することで、マルチリンガル法的AI研究を促進すること。
• 明確なライセンスおよびメンテナンスプロトコルを備えたオープンアクセスデータセットとドメイン特化型言語モデルのリリースを通じて、学術研究を支援すること。

提案手法

• 著者らは、初審および上告裁判所の判決および最近の判決を含む、147,000件の韓国法的先例（259Mトークン）からなる法的先例コーパスを構築した。
• 彼らは、事件名および法条の分類、刑事および民事の法的判決予測、最高裁判所の先例要約の5つのコアNLPタスクを設計した。
• レアな事件分類と長大な入力シーケンスを含むように、分類および要約タスクの拡張版を構築し、モデルの頑健性とカバレッジを向上させた。
• LBox Open法的コーパス上で事前学習された124Mおよび345Mパラメータのデコーダー単一型言語モデルであるLCubeを微調整し、リリースした。
• ベンチマークは、標準化された評価プロトコルを備え、多様な法的NLPタスクにわたるマルチタスク学習と評価をサポートする。
• すべてのデータセットおよびモデルは、Attribution-NonCommercial-NoDerivatives 4.0ライセンスのもと、HuggingFace経由で公開され、GitHubを介したバージョン管理と貢献メカニズムが整えられている。

実験結果

リサーチクエスチョン

• RQ1 大規模でマルチタスクのベンチマークは、韓国法的NLPタスクにおける法的言語モデルのパフォーマンスと一般化能力を向上させることができるか？
• RQ2 LCubeのようなドメイン特化型言語モデルは、韓国法的テキスト分類および判決予測において、汎用モデルと比較してどのように差をつけるか？
• RQ3 希少な分類と長大なシーケンスを含む拡張データセットは、法的AIにおけるモデルの頑健性と公平性をどの程度向上させるか？
• RQ4 LCubeのような小型のデコーダー単一型モデルは、mT5などの大規模エンコーダ・デコーダー型モデルと同等の性能を法的分類タスクで達成できるか？
• RQ5 実世界の法的先例（個人情報の可能性を含む）を学習データとして用いたデータ駆動型法的AIモデルの使用における限界とリスクは何か？

主な発見

• 124Mパラメータのデコーダー単一型モデルLCubeは、事件名および法条分類タスクにおいて、より大きなmT5モデルと同等のパフォーマンスを達成し、ドメイン特化型事前学習の有効性を示している。
• LBox Openベンチマークには、147,000件の法的先例（259Mトークン）が含まれており、刑事および民事の判決予測、分類、要約など多様な法的タスクをカバーしている。
• 拡張データセット（Case name+、Statute+、Summarization+）にはそれぞれ31,000件および17,700件の例が含まれ、希少な法的分類のカバレッジが向上している。
• 要約タスクには、最高裁判所の先例20,000件と要約が含まれており、拡張版（Summarization+）には51,000件の長大シーケンス例が含まれる。
• LCubeは分類タスクでは優れたパフォーマンスを示すが、要約タスクでは限定的な利点にとどまるため、タスクに特化したモデルの有効性が示された。
• データセットおよびモデルは、HuggingFace経由で非営利ライセンスのもとで公開されており、GitHubを介したバージョニングと貢献メカニズムが整えられている。