[論文レビュー] CAIL2018: A Large-Scale Legal Dataset for Judgment Prediction

Chaojun Xiao, Haoxi Zhong+9 more|arXiv (Cornell University)|Jul 4, 2018

Artificial Intelligence in Law参考文献 10被引用数 188

ひとこと要約

本論文は CAIL2018 を紹介します。これは法的判決予測（LJP）における初の大規模な中国語データセットで、2.6 million 件を超える刑事事件と豊富な注釈（法条、罪名、刑期）を含みます。ベースラインモデルは高い精度を示しますが、データの不均衡と語句予測の難しさのため、マクロ精度/再現率に顕著な課題があります。

ABSTRACT

In this paper, we introduce the extbf{C}hinese extbf{AI} and extbf{L}aw challenge dataset (CAIL2018), the first large-scale Chinese legal dataset for judgment prediction. \dataset contains more than $2.6$ million criminal cases published by the Supreme People's Court of China, which are several times larger than other datasets in existing works on judgment prediction. Moreover, the annotations of judgment results are more detailed and rich. It consists of applicable law articles, charges, and prison terms, which are expected to be inferred according to the fact descriptions of cases. For comparison, we implement several conventional text classification baselines for judgment prediction and experimental results show that it is still a challenge for current models to predict the judgment results of legal cases, especially on prison terms. To help the researchers make improvements on legal judgment prediction, both \dataset and baselines will be released after the CAIL competition\footnote{http://cail.cipsc.org.cn/}.

研究の動機と目的

• 中国法における法的判決予測（LJP）のための大規模で豊富な注釈付きデータセットを提供する。
• 法条、罪名、および懲役期間を予測する機械学習モデルの評価と改善を可能にする。
• LJPタスクにおけるデータの不均衡や低頻度ラベルといった課題を強調する。

提案手法

• CAIL2018 を 570万件の犯罪文書から組み立て・前処理し、183の法条と202の罪名を有する 2.676M 件の単独被告事件を得る。
• 判決文から正規表現を用いて入力（事実記述）と出力（法条、罪名、懲役期間）を抽出する。
• 3つのベースライン（TFIDF+SVM、FastText、CNN）を、3つのサブタスク（法条、罪名、懲役期間）で評価する。
• THULAC による中国語分かち書きを実施する；200次元のSkip-Gram埋め込みを使用する；CNN の入力長を 4096、複数フィルタサイズを設定する；Adam（lr=0.001）と dropout 0.5 で学習する。

実験結果

リサーチクエスチョン

• RQ1 大規模な中国語LJPデータセットは、さまざまな罪名と条文に対するモデルの一般化を改善できるか？
• RQ2 CAIL2018 における法条、罪名、懲役期間の予測タスクで、ベースラインのテキスト分類手法はどの程度の性能を示すか？
• RQ3 データの不均衡は LJP タスクにおけるマクロ精度とマクロ再現率にどのような影響を及ぼすか？
• RQ4 3つのモデルアーキテクチャ（TFIDF+SVM、FastText、CNN）は、3つの LJP サブタスクでの正確度を比較するとどうなるか？

主な発見

• CAIL2018 には 2,676,075 件の刑事事件、183の法条、そして 202の罪名が含まれる。
• FastText、TFIDF+SVM、CNN は罪名と法条の正解率が高い一方で、データの不均衡と低頻度ラベルの影響により macro-精度/再現率が低い。
• 全体として、懲役期間の予測が最も難しいサブタスクのままである。
• 報告された結果は notable な正確度を示す一方で、macroレベルの指標（MP、MR）は大きな改善の余地を示している。
• データセットの規模と豊富な注釈は、CAIL2018 を従来の LJP データセットと区別し、モデルのより深い評価を可能にする。