[논문 리뷰] JUSTICE: A Benchmark Dataset for Supreme Court's Judgment Prediction

Mohammad Alali, Shaayan Syed외 3명|arXiv (Cornell University)|2021. 12. 06.

Artificial Intelligence in Law인용 수 7

한 줄 요약

이 논문은 사실, 투표 결과 및 판결 유형이 주석 처리된 8,200건의 미국 연방 대법원 사건을 포함하는 JUSTICE라는 벤치마크 데이터셋을 소개한다. 이는 자연어처리(NLP) 모델이 사법 판단을 예측할 수 있도록 설계되었다. 데이터 품질 문제와 작업의 모호함에도 불구하고, BERT 및 LSTM과 같은 모델을 학습시켜 판단 예측이 가능하지만, 사건 요약에 신호가 부족하여 논란의 정도를 예측하는 데에는 효과적이지 않다.

ABSTRACT

Artificial intelligence is being utilized in many domains as of late, and the legal system is no exception. However, as it stands now, the number of well-annotated datasets pertaining to legal documents from the Supreme Court of the United States (SCOTUS) is very limited for public use. Even though the Supreme Court rulings are public domain knowledge, trying to do meaningful work with them becomes a much greater task due to the need to manually gather and process that data from scratch each time. Hence, our goal is to create a high-quality dataset of SCOTUS court cases so that they may be readily used in natural language processing (NLP) research and other data-driven applications. Additionally, recent advances in NLP provide us with the tools to build predictive models that can be used to reveal patterns that influence court decisions. By using advanced NLP algorithms to analyze previous court cases, the trained models are able to predict and classify a court's judgment given the case's facts from the plaintiff and the defendant in textual format; in other words, the model is emulating a human jury by generating a final verdict.

연구 동기 및 목표

• NLP 기반의 판단 예측을 위해 잘 주석 처리되고 종합적인 미국 연방 대법원 사건 데이터셋을 구축하기.
• 기존의 국가별 또는 사건 유형별로 국한된 데이터셋에 비해 미국 연방 대법원의 전반적인 판결 스펙트럼을 다루는 데이터셋의 부족을 보완하기.
• 고품질의 구조화된 법적 텍스트와 판결 메타데이터를 제공하여 사법 결과 예측 성능을 향상시키기.
• 누락된 값, 뒤바뀐 투표, 모호한 승리 당사자 레이블과 같은 데이터 품질 문제를 식별하고 해결하기.
• 사건 요약만으로도 논란의 정도를 예측할 수 있는지의 가능성을 탐색하기. 다만, 텍스트 내에서 명시적인 신호가 부족한 점을 고려하여.

제안 방법

• 모순을 해결하기 위해 Oyez에서 주로 사례 데이터를 확보하고, 워싱턴 대학 대법원 데이터베이스(SCDB)를 보완적으로 활용.
• 사건 ID, 당사자 이름, 사실, 투표 수, 승리 당사자, 판결 유형 등을 포함한 12개 컬럼의 구조화된 데이터셋 정의.
• 뒤바뀐 투표, 모호한 승리 당사자 레이블, 일치하지 않는 판결 유형 등의 문제를 수정하기 위해 데이터 정제 기법 적용.
• 판단 예측 및 논란의 정도 분류 작업을 평가하기 위해 BERT 기반 모델과 기존 분류기(SVM, LSTM) 사용.
• 데이터셋의 클래스 불균형을 완화하기 위해 데이터 증강 및 미러링 구현.
• 모델 일반화를 향상시키고 당사자 이름에 대한 의존도를 줄이기 위해 실체 교체(<p1>, <p2>)와 같은 텍스트 수준의 수정 제안.

실험 결과

연구 질문

• RQ1 대규모로 잘 주석 처리된 미국 연방 대법원 사건 데이터셋은 NLP 기반의 사법 판단 예측을 정확하게 가능하게 하는가?
• RQ2 뒤바뀐 투표 및 모호한 레이블과 같은 데이터 품질 문제는 법적 판단 예측 성능에 어떤 영향을 미치는가?
• RQ3 사건 요약만으로도 논란의 정도를 예측할 수 있는가? 특히 텍스트 내에서 명시적인 신호가 부족한 상황에서의 가능성은 어느 정도인가?
• RQ4 당사자 이름에 대한 편향을 줄이기 위해 입력 텍스트를 실체 익명화(예: <p1>, <p2>)하는 방식으로 수정함으로써 모델 성능을 향상시킬 수 있는가?
• RQ5 현재의 NLP 모델은 사례 요약만으로 훈련된 경우 법적 결과를 예측하는 데 어떤 한계를 지니는가?

주요 결과

• JUSTICE 데이터셋은 사실, 투표 결과 및 판결 유형에 대해 구조화되고 정제된 주석 처리가 된 8,200건의 미국 연방 대법원 사건을 포함한다.
• 데이터 품질 문제를 확인했으며, 11%의 사건에서 다수/소수 투표가 뒤바뀌어 있었고, 13%의 사건에서 승리 당사자 레이블이 모호했다.
• BERT 및 SVM를 사용한 판단 예측 모델은 90% 이상의 높은 정확도를 달성하여, 이 데이터셋이 이 작업에 적합함을 시사한다.
• 논란의 정도 예측 작업은 의미 있는 결과를 도출하지 못했으며, SVM의 정확도는 단지 61%에 머물렀다. 이는 클래스 불균형과 사례 요약 내 신호 부족 때문이었다.
• LSTM 모델은 교차 엔트로피 손실가 0.6 이하로 수렴하지 못해 논란의 정도 예측 작업에 대한 학습 역학이 열악함을 나타낸다.
• 당사자 이름을 <p1> 및 <p2>로 교체하는 텍스트 수준의 수정은 모델 일반화를 향상시키고 실체명에 대한 의존도를 줄이는 데 도움이 되는 방법으로 제안된다.