[论文解读] A Multi-Task Benchmark for Korean Legal Language Understanding and Judgement Prediction

Wonseok Hwang, Dongjun Lee+3 more|arXiv (Cornell University)|Jun 10, 2022

Artificial Intelligence in Law被引用 14

一句话总结

本论文介绍了 LBox Open，这是首个针对韩语法律语言理解与判决预测的大规模多任务基准，包含14.7万份法律判例、六个多样化的自然语言处理任务（分类、判决预测、摘要生成），以及LCube语言模型。该基准实现了韩语法律人工智能的最先进性能，LCube尽管参数量较小，但在分类任务中表现优异，为非英语法律体系中的多语言法律人工智能研究奠定了基础。

ABSTRACT

The recent advances of deep learning have dramatically changed how machine learning, especially in the domain of natural language processing, can be applied to legal domain. However, this shift to the data-driven approaches calls for larger and more diverse datasets, which are nevertheless still small in number, especially in non-English languages. Here we present the first large-scale benchmark of Korean legal AI datasets, LBOX OPEN, that consists of one legal corpus, two classification tasks, two legal judgement prediction (LJP) tasks, and one summarization task. The legal corpus consists of 147k Korean precedents (259M tokens), of which 63k are sentenced in last 4 years and 96k are from the first and the second level courts in which factual issues are reviewed. The two classification tasks are case names (11.3k) and statutes (2.8k) prediction from the factual description of individual cases. The LJP tasks consist of (1) 10.5k criminal examples where the model is asked to predict fine amount, imprisonment with labor, and imprisonment without labor ranges for the given facts, and (2) 4.7k civil examples where the inputs are facts and claim for relief and outputs are the degrees of claim acceptance. The summarization task consists of the Supreme Court precedents and the corresponding summaries (20k). We also release realistic variants of the datasets by extending the domain (1) to infrequent case categories in case name (31k examples) and statute (17.7k) classification tasks, and (2) to long input sequences in the summarization task (51k). Finally, we release LCUBE, the first Korean legal language model trained on the legal corpus from this study. Given the uniqueness of the Law of South Korea and the diversity of the legal tasks covered in this work, we believe that LBOX OPEN contributes to the multilinguality of global legal research. LBOX OPEN and LCUBE will be publicly available.

研究动机与目标

• 为解决韩语法律人工智能数据集在规模、多样性及多语言性方面的不足，特别是针对非英语法律体系的缺乏。
• 通过提供涵盖多种法律NLP任务的综合性基准，支持数据驱动的法律人工智能模型开发。
• 通过在精心筛选的法律语料上进行领域特定预训练，实现高性能法律语言建模。
• 通过建立具备韩国独特法律结构与任务多样性的基准，推动多语言法律人工智能研究。
• 通过发布开放获取的数据集和领域特定语言模型，并明确授权与维护协议，支持学术研究。

提出的方法

• 作者构建了一个包含147,000份韩语案例（2.59亿词符）的法律判例语料库，涵盖一审与二审法院的判决及近期判例。
• 设计了五个核心NLP任务：案件名称与法律条文分类、刑事与民事判决预测、以及最高法院判例摘要生成。
• 对分类与摘要任务进行了扩展，以包含罕见案件类别与长输入序列，提升模型的鲁棒性与覆盖范围。
• 在LBox Open法律语料库上进行预训练，并微调与发布LCube，一个参数量为1.24亿与3.45亿的解码器-only语言模型。
• 该基准支持跨多样化法律NLP任务的多任务学习与评估，采用标准化评估协议。
• 所有数据集与模型均通过HuggingFace发布，采用Attribution-NonCommercial-NoDerivatives 4.0许可，支持GitHub上的版本控制与贡献机制。

实验结果

研究问题

• RQ1 大规模多任务基准能否提升韩语法律NLP任务中法律语言模型的性能与泛化能力？
• RQ2 与通用模型相比，像LCube这样的领域特定语言模型在韩语法律文本分类与判决预测任务中的表现如何？
• RQ3 包含罕见类别与长序列的扩展数据集在多大程度上能提升法律人工智能模型的鲁棒性与公平性？
• RQ4 较小的解码器-only模型（如LCube）能否在法律分类任务中达到与更大编码器-解码器模型（如mT5）相当的性能？
• RQ5 基于真实世界法律判例（可能包含个人信息）训练的数据驱动法律AI模型存在哪些局限与风险？

主要发现

• 参数量为1.24亿的LCube解码器-only模型在案件名称与法律条文分类任务中表现与更大的mT5模型相当，证明了领域特定预训练的有效性。
• LBox Open基准包含147,000份法律判例（2.59亿词符），涵盖刑事与民事判决预测、分类与摘要等多种法律任务。
• 扩展数据集（Case name+、Statute+、Summarization+）分别包含31,000与17,700个样本，提升了对罕见法律类别的覆盖。
• 摘要任务包含20,000份最高法院判例及其摘要，扩展版本（Summarization+）包含51,000个长序列样本。
• LCube在分类任务中表现优异，但在摘要任务中优势有限，表明模型在不同任务上的效果具有特定性。
• 数据集与模型通过HuggingFace公开发布，采用非商业许可，支持GitHub上的版本管理与贡献机制。