[논문 리뷰] CAIL2019-SCM: A Dataset of Similar Case Matching in Legal Domain

Chaojun Xiao, Haoxi Zhong외 9명|arXiv (Cornell University)|2019. 11. 20.

Artificial Intelligence in Law참고 문헌 34인용 수 34

한 줄 요약

본 논문은 중국법률 사례의 유사 사례 매칭에 초점을 맞춘 8,964개 트리플의 데이터셋 CAIL2019-SCM을 소개하고, 현재 모델이 법적 유사성을 포착하는 데 어려움을 겪고 있음을 보여주는 기본 baselines 실험을 보고합니다.

ABSTRACT

In this paper, we introduce CAIL2019-SCM, Chinese AI and Law 2019 Similar Case Matching dataset. CAIL2019-SCM contains 8,964 triplets of cases published by the Supreme People's Court of China. CAIL2019-SCM focuses on detecting similar cases, and the participants are required to check which two cases are more similar in the triplets. There are 711 teams who participated in this year's competition, and the best team has reached a score of 71.88. We have also implemented several baselines to help researchers better understand this task. The dataset and more details can be found from https://github.com/china-ai-law-challenge/CAIL2019/tree/master/scm.

연구 동기 및 목표

• 법률 도메인의 유사 사례 매칭 데이터셋 CAIL2019-SCM을 소개하고 설명한다.
• 주석 달기와 품질 관리가 포함된 데이터셋 구성 과정과 주석 작성 방법을 제시한다.
• 데이터셋에 대해 기본 시맨틱 텍스트 매칭 모델을 평가하여 기준점을 마련한다.
• 법률 지식의 필요성과 SCM 성능 향상에서의 역할을 강조한다.

제안 방법

• 사례 사실 설명에 대한 유사도 함수 sim(·,·)를 갖는 트리플 기반 SCM 태스크를 정의한다.
• 주석된 법적 요소와 tf-idf 및 요소 유사성을 이용해 Private Lending 사례에서 8,964개의 트리플을 구성한다.
• CNN, LSTM, 또는 BERT 인코더를 사용하는 시암ese 아키텍처로 트리플을 인코딩하고 선형 유사도 점수를 계산한다.
• 두 후보 간의 유사도 차이를 그라운드 트루스 순서와 비교하는 이진 교차 엔트로피 손실로 학습한다.
• 표준 텍스트 매칭 베이스라인(CNN, LSTM, BERT)을 조정하고 대규모 학습/검증/테스트 분할에서 정확도를 보고한다.

실험 결과

연구 질문

• RQ1 표준 시맨틱 텍스트 매칭 모델이 법률 사례 설명의 트리플 내에서 더 유사한 사례 쌍을 올바르게 식별할 수 있는가?
• RQ2 인코더 선택(CNN, LSTM, BERT)이 길고 법적으로 미묘한 중국어 법률 텍스트에서 어떤 성능을 보이는가?

주요 결과

• 베이스라인은 순진한 접근법에 비해 의미 있는 개선을 보이나 전체적으로 CAIL2019-SCM에서의 성능은 제한적이다.
• 최고 참가 팀은 베이스라인보다 정확도가 더 높아진다 하여 진전이 있음을 시사하지만 여전히 개선 여지가 있다.
• 법적 지식 또는 추론을 활용하는 모델은 평가된 베이스라인에서 충분히 대표되지 않아 SCM 성능 향상을 위한 격차가 남아 있다.
• 데이터셋은 문서 단위의 정보를 포착하기 어렵게 만드는 512자 이상인 긴 문서를 자주 포함한다.