[논문 리뷰] Predicting Brazilian court decisions

André Lage Freitas, Héctor Allende‐Cid외 2명|arXiv (Cornell University)|2019. 04. 20.

Artificial Intelligence in Law인용 수 8

한 줄 요약

이 논문은 4,043宗의 사례를 포함한 데이터셋에서 결과 레이블(예, 아니요, 부분적)과 판결의 일치 여부를 포함하여 브라질 법원 판결을 예측하는 기계학습 접근법을 제시한다. 이는 상고법원인 알라카스 주 법원(Tribunal de Justiça de Alagoas)의 사법 의견을 기반으로 한 자연어 처리(NLP)와 지도 학습을 활용하며, 일치 판결 예측 정확도가 98.46%에 이르지만, 클래스 불균형으로 인해 균형 잡힌 부분집합에서는 76.94%로 떨어진다.

ABSTRACT

Predicting case outcomes is useful but still an extremely hard task for attorneys and other Law professionals. It is not easy to search case information to extract valuable information as this requires dealing with huge data sets and their complexity. For instance, the complexity of Brazil legal system along with the high litigation rates makes this problem even harder. This paper introduces an approach for predicting Brazilian court decisions which is also able to predict whether the decision will be unanimous. We developed a working prototype which performs 79% of accuracy (F1-score) on a data set composed of 4,043 cases from a Brazilian court. To our knowledge, this is the first study to forecast judge decisions in Brazil.

연구 동기 및 목표

• 법률 전문가들이 사건 전략 수립과 결정보조를 위해 사용할 수 있는 브라질 법원 판결 예측 모델을 개발하는 것.
• 특히 상고법원의 Acórdãos에서 발생하는 브라질 법적 문서의 높은 복잡성과 다량의 문제를 해결하는 것.
• 사건 결과(예, 아니요, 부분적)와 판결이 일치할지를 예측하는 것.
• 사건 개요만으로도 법률 전문가들이 쉽게 사용할 수 있는 최소 입력 기반의 기능성 프로토타입을 구축하는 것.
• 브라질에서 이 분야에 미미한 이전 연구가 존재하는 점을 감안해, 브라질의 법적 결과 예측에 대한 기초 기준을 설정하는 것.

제안 방법

• 법원 의견에서 특히 Acórdãos의 보고서 및 근거 부분을 중심으로 자연어 처리(NLP)를 사용해 특징을 추출하는 방법을 사용한다.
• 사건 결과 및 일치 여부에 대해 레이블링된 4,043건의 사례 데이터셋을 기반으로 지도 학습 모델을 훈련시킨다.
• 모델은 세 가지 결과 레이블(예, 아니요, 부분적)을 예측하기 위해 다중 클래스 분류 프레임워크를 활용한다.
• 일치 여부 예측을 위해 모델은 판결이 일치하는지 여부를 분류하며, 이는 일치 판결의 높은 발생 빈도를 활용한다.
• 중복 및 관련 없는 레이블(예: prejudicada, not-cognized)을 제거하기 위해 데이터셋을 전처리하여 일치 예측에 2,274건의 유의미한 사례를 확보한다.
• 평가에는 주로 F1-스코어를 사용하며, 데이터 분포 편향에 대한 저항력을 평가하기 위해 균형 잡힌 부분집합에서의 분석을 실시한다.

실험 결과

연구 질문

• RQ1 텍스트 기반의 사건 개요를 바탕으로 기계학습 모델이 브라질 법원 판결의 결과를 정확하게 예측할 수 있는가?
• RQ2 브라질 법원 판결이 일치할지를 모델이 예측할 수 있는가?
• RQ3 데이터셋의 클래스 불균형이 일치 예측 성능에 어떤 영향을 미치는가?
• RQ4 데이터 분포가 균형 잡혀 있을 경우 모델의 성능이 유지되는가?
• RQ5 이 접근법은 유사한 결정보조 구조를 가진 다른 법체계로 일반화될 수 있는가?

주요 결과

• 모델은 4,043건의 브라질 법원 사례 데이터셋에서 사건 결과(예, 아니요, 부분적) 예측에 대해 79%의 F1-스코어 정확도를 달성했다.
• 일치 판결 예측에 대해 2,274건의 사례 데이터셋에서 98.46%의 F1-스코어 정확도를 기록했으며, 이는 주로 일치 판결의 높은 발생 빈도로 인한 것이다.
• 균형 잡힌 데이터셋(일치 및 비일치 판결 수가 동일한 경우)에서 평가했을 때, 일치 예측 정확도는 76.94%로 나타났다.
• 원래 데이터셋이 균형 잡히지 않은 상태에서도 모델의 성능이 안정적으로 유지되어, 결과 예측에서 클래스 불균형에 대한 강건성을 입증했다.
• 본 연구는 브라질 법원 판결 예측을 위한 기계학습 기반의 첫 번째 연구로서, 브라질에서 법적 기술 응용의 기반을 마련했다.
• 프로토타입은 다른 언어와 법체계로의 확장이 가능하도록 설계되었으며, 법적 실무 도구에 통합될 잠재력이 있다.