[論文レビュー] CAIL2019-SCM: A Dataset of Similar Case Matching in Legal Domain

Chaojun Xiao, Haoxi Zhong+9 more|arXiv (Cornell University)|Nov 20, 2019

Artificial Intelligence in Law参考文献 34被引用数 34

ひとこと要約

本論文は CAIL2019-SCM を紹介します。これは中国の法的事件の類似ケース照合に焦点を当てた 8,964 の三元組データセットであり、現在のモデルが法的類似性を捉えるのに苦労していることを示すベースライン実験を報告します。

ABSTRACT

In this paper, we introduce CAIL2019-SCM, Chinese AI and Law 2019 Similar Case Matching dataset. CAIL2019-SCM contains 8,964 triplets of cases published by the Supreme People's Court of China. CAIL2019-SCM focuses on detecting similar cases, and the participants are required to check which two cases are more similar in the triplets. There are 711 teams who participated in this year's competition, and the best team has reached a score of 71.88. We have also implemented several baselines to help researchers better understand this task. The dataset and more details can be found from https://github.com/china-ai-law-challenge/CAIL2019/tree/master/scm.

研究の動機と目的

• 法域における類似ケース照合のための CAIL2019-SCM データセットを提示し、説明する。
• 注釈と品質管理を含むデータセット構築プロセスを提供する。
• データセット上でベースラインの意味的テキスト照合モデルを評価し、基準を確立する。
• 課題と SCM パフォーマンス向上における法的知識の役割を強調する。

提案手法

• ケース事実の説明に対して sim(·,·) を用いる三元組ベースの SCM タスクを定義する。
• 注釈付き法的要素と tf-idf、要素間の類似性を用いて Private Lending ケースから 8,964 の三元組を構築する。
• CNN、LSTM、または BERT エンコーダを用いたシアマイズ（Siamese）アーキテクチャで三元組を符号化し、線形の類似度スコアを計算する。
• 2つの候補類似度を地真実の順序と比較してバイナリクロスエントロピー損失で学習する。
• 標準的なテキスト照合のベースライン（CNN、LSTM、BERT）を適用し、大規模な訓練/検証/テスト分割で精度を報告する。

実験結果

リサーチクエスチョン

• RQ1 標準的な意味的テキスト照合モデルは、法的ケース説明の三元組内でより類似のケースペアを正しく識別できるか？
• RQ2 長く法的にニュアンスのある中国語テキストに対して、エンコーダの選択（CNN、LSTM、BERT）はどう性能を発揮するか？

主な発見

• ベースラインはナイーブなアプローチより有意な改善を示すが、全体的な性能は CAIL2019-SCM で依然として限定的である。
• 上位の参加チームはベースラインより高い精度を達成しており、進展を示すが改善の余地は依然としてある。
• 法的知識や推論を活用するモデルは評価されたベースラインで過小評価されており、より良い SCM パフォーマンスのために埋めるべきギャップを示唆している。
• データセットは長い文書（しばしば >512 文字）を含み、既存のアーキテクチャが文書レベルの情報を捉えるのを難しくしている。