[논문 리뷰] Predicting Court Decisions for Alimony: Avoiding Extra-legal Factors in Decision made by Judges and Not Understandable AI Models

Fabrice Muhlenbach, Long Nguyen Phuoc외 1명|arXiv (Cornell University)|2020. 07. 09.

Artificial Intelligence in Law참고 문헌 24인용 수 4

한 줄 요약

이 논문은 랜덤 포레스트 분류 및 회귀를 조합한 설명 가능 AI 모델을 제안하여 프랑스 이혼 재판에서의 위자료 결정을 예측한다. 이는 사법 결정에 영향을 미치는 법적 및 비법적 요인을 규명하며, 전통적 회귀 모델보다 뛰어난 성능을 보이며, R²가 0.98이고 설명 가능한 분산 비율이 70%에 이르며, 사법 재량에 잠재된 편향을 드러내며 법조인들에게 투명한 도구를 제공한다.

ABSTRACT

The advent of machine learning techniques has made it possible to obtain predictive systems that have overturned traditional legal practices. However, rather than leading to systems seeking to replace humans, the search for the determinants in a court decision makes it possible to give a better understanding of the decision mechanisms carried out by the judge. By using a large amount of court decisions in matters of divorce produced by French jurisdictions and by looking at the variables that allow to allocate an alimony or not, and to define its amount, we seek to identify if there may be extra-legal factors in the decisions taken by the judges. From this perspective, we present an explainable AI model designed in this purpose by combining a classification with random forest and a regression model, as a complementary tool to existing decision-making scales or guidelines created by practitioners.

연구 동기 및 목표

• 이혼 후 프랑스 판사들이 위자료를 결정하는 데 영향을 미치는 법적 및 비법적 결정 요인을 규명하는 것.
• 투명성을 높이고 투명하지 않은 의사결정 도구에 대한 의존도를 줄이기 위해 설명 가능한 AI 모델을 개발하는 것.
• 위자료 금액을 예측할 수 있는 신뢰할 수 있고 데이터 기반의 도구를 제공하여 법조인과 소송 당사자들을 지원하는 것.
• 공식적인 법적 기준을 초월한 패tern을 분석함으로써 사법 결정의 암묵적 편향을 탐지하는 것.
• 미래의 자동화된 텍스트 분석 기술을 위한 기반을 마련하고, NLP 및 지속적인 모델 업데이트를 통해 발전시키는 것.

제안 방법

• 모델은 이중 단계 접근 방식을 사용한다: 먼저 랜덤 포레스트를 활용해 위자료가 지급되는지 여부를 분류하고, 이후 회귀 분석을 통해 지급 금액을 예측한다.
• 이중 결정(지급/미지급)과 연속형 결과(금액)를 동시에 처리하기 위해 분류와 회귀를 통합한다.
• 모델은 지방법원의 대규모 프랑스 1审 재판 판결문 코퍼스를 기반으로 훈련되며, 사례 세부 정보에서 유도된 특징을 사용한다.
• 기능 중요도 분석을 통해 설명 가능성을 확보하여 결정에 영향을 미치는 핵심 변수를 규명한다.
• 일반 최소 제곱법(OLS) 및 분위수 회귀와의 비교를 통해 성능을 평가하며, R²와 설명 가능한 분산을 측정 기준으로 삼는다.
• 미래 작업으로는 NLP 및 텍스트 마이닝 기법을 활용해 원시 재판문서에서 특징을 자동으로 추출하는 것.

실험 결과

연구 질문

• RQ1 프랑스 판사들이 위자료 지급을 결정하는 데 영향을 미치는 법적 및 비법적 요인은 무엇인가?
• RQ2 현재의 예측 모델은 전통적 회귀 기법에 비해 위자료 금액 예측에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ3 설명 가능한 AI 모델은 사법 재량의 암묵적 편향이나 일관성 없는 요소를 탐지할 수 있는가?
• RQ4 AI 기반 도구는 가족법 결정의 예측 가능성과 투명성을 어떻게 향상시킬 수 있는가?
• RQ5 자동화된 NLP 기법은 비정형적인 재판문서에서 결정에 관련된 특징을 어떻게 추출할 수 있는가?

주요 결과

• 모델은 R²가 0.98에 이르며, OLS 및 분위수 회귀보다 뚜렷하게 뛰어난 성능을 보이며, 위자료 금액의 분산의 최대 70%를 설명한다.
• 모델은 약간의 과소평가 편향을 보이며, 실제 데이터베이스 평균인 €33,653.89에 비해 평균 예측 금액이 €24,142.24로 낮다.
• 평균(€33,653.89)과 중앙값(€15,000.00) 사이의 큰 격차는 극단적 값의 강력한 영향을 시사한다.
• 연구는 법적 기준만으로는 위자료 결정이 완전히 결정되지 않음을 확인하며, 사법 재량과 잠재적인 비법적 영향이 상당히 존재할 수 있음을 암시한다.
• 모델의 높은 성능과 해석 가능성은 법조인들이 의사결정 지원 도구로 활용할 수 있음을 입증한다.
• 저자들은 2013년 이후 동성결혼 해소 이후 법적 및 사회적 변화를 반영하기 위해 지속적인 모델 업데이트가 필요하다고 지적한다.