[논문 리뷰] AutoLAW: Augmented Legal Reasoning through Legal Precedent Prediction

Robert Mahari|arXiv (Cornell University)|2021. 06. 30.

Artificial Intelligence in Law참고 문헌 15인용 수 8

한 줄 요약

이 논문은 미국 연방 법원 판결문의 법적 논거를 바탕으로 관련 사법 선례 문장을 예측하는 자연어 처리(NLP) 과제인 법적 선례 예측(Legal Precedent Prediction, LPP)을 소개한다. 미세조정된 BERT 모델을 사용하여 530,000개의 예제로 훈련된 이 모델은 검토되지 않은 케이스에서 상위 10개의 정확도를 96%로 달성하였으며, 고등법원 판사 엘레나 카간이 복잡한 법적 문서에서 사용한 인용문을 정확히 예측하였다.

ABSTRACT

This paper demonstrate how NLP can be used to address an unmet need of the legal community and increase access to justice. The paper introduces Legal Precedent Prediction (LPP), the task of predicting relevant passages from precedential court decisions given the context of a legal argument. To this end, the paper showcases a BERT model, trained on 530,000 examples of legal arguments made by U.S. federal judges, to predict relevant passages from precedential court decisions given the context of a legal argument. In 96% of unseen test examples the correct target passage is among the top-10 predicted passages. The same model is able to predict relevant precedent given a short summary of a complex and unseen legal brief, predicting the precedent that was actually cited by the brief's co-author, former U.S. Solicitor General and current U.S. Supreme Court Justice Elena Kagan.

연구 동기 및 목표

• 소송 비용을 줄이고 사법 접근성을 향상시키기 위해 효율적인 선례 식별이 부족한 법적 분야의 요구를 해결한다.
• 법률 전문가를 대체하기보다는 보완하여 법적 연구의 속도와 정확도를 향상시키는 실용적인 NLP 솔루션을 개발한다.
• 법원 판결문을 기반으로 NLP 모델을 훈련시켜 높은 정확도로 관련 선례 문장을 예측할 수 있음을 입증한다.
• 실제 법적 업무에 영향을 미치는 실질적인 사회적 영향을 지닌 실제 사례에 초점을 맞춰 NLP 연구와 법적 실무 사이의 격차를 메운다.
• 저자원을 가진 법적 당사자, 즉 공공법무사와 저소득 소송 당사자들을 돕기 위한 확장 가능한 비용 효율적인 도구를 제공한다.

제안 방법

• 미국 연방 법원 판결문에서 추출한 530,000개의 법적 논거-선례 쌍을 기반으로 BERT 기반 모델을 미세조정한다.
• 법적 논거의 맥락(예: 사건 배경, 법적 질문, 표준 적용 등)을 입력 표현으로 사용하여 관련 선례 문장을 예측한다.
• 모델이 후보 선례 문장을 관련성 순으로 정렬하는 방식으로 LPP를 다중 클래스 분류 과제로 설정한다.
• BERT에서 유도된 문맥 기반 임bedding을 활용해 법적 논거와 선례 언어 간의 의미적 관계를 포착한다.
• 검토되지 않은 테스트 예제에서 상위-k 정확도(예: 상위 10개)를 사용해 모델 성능을 평가하여 정보 검색 효과성을 측정한다.
• 실제로 고등법원 판사 엘레나 카간이 공동 작성한 법적 문서를 대상으로 일반화 능력을 검증하여 실제 인용된 선례를 예측한다.

실험 결과

연구 질문

• RQ1 법원 판결문 내 법적 논거의 맥락이 주어졌을 때, NLP 모델이 관련 사법 선례 문장을 정확히 예측할 수 있는가?
• RQ2 특히 저명한 법적 추론을 인용하는 복잡한 검토되지 않은 법적 문서에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ3 LPP는 변호사 및 법적 전문가들이 법적 연구에 소요하는 시간과 비용을 어느 정도 줄일 수 있는가?
• RQ4 자동화된 선례 예측에 의존할 경우 법적 결정 과정에서 발생할 수 있는 실패 모드와 윤리적 리스크는 무엇인가?
• RQ5 LPP는 빈번히 인용되지 않는 문장들보다 더 넓은 의미적 관련성을 지닌 이전에 인용되지 않은 선례 문장을 식별하는 데도 확장할 수 있는가?

주요 결과

• BERT 기반 LPP 모델은 상위 10개 정확도가 96%를 기록하여, 검토되지 않은 테스트 케이스의 96%에서 정확한 선례 문장이 상위 10개 예측에 포함됨을 의미한다.
• 모델는 검토되지 않은 복잡한 법적 문서에서 고등법원 판사 엘레나 카간이 실제로 인용한 선례를 성공적으로 예측하여, 실제 법적 추론에 대한 뛰어난 일반화 능력을 입증하였다.
• 모델의 성능은 변호사들이 법적 연구에 소요하는 시간을 크게 줄일 수 있음을 시사하며, 현재는 주니어 변호사의 근무 시간의 약 1/3을 차지한다.
• 고차원적인 법적 문서에서의 인용 예측 능력은 모델가 기본적인 검색을 넘어서 고도의 법적 추론 작업을 지원할 수 있음을 나타낸다.
• 결과적으로 NLP가 법적 선례 예측에 실질적으로 적용될 수 있음을 입증하며, 사법 접근성을 높이는 실용적인 길을 제시한다.
• 강력한 성능에도 불구하고 모델는 빈번히 인용되는 문장들에 국한되어 있어, 새로운 또는 덜 인용되는 관련 선례를 식별하기 위한 향후 연구의 필요성을 드러낸다.