[논문 리뷰] Performance in the Courtroom: Automated Processing and Visualization of Appeal Court Decisions in France

Boniol Paul, P George외 4명|arXiv (Cornell University)|2020. 06. 11.

Artificial Intelligence in Law참고 문헌 22인용 수 5

한 줄 요약

이 논문은 프랑스 상고법원 판결을 자동 처리하고 시각화하기 위한 NLP 및 네트워크 분석 프레임워크를 제안한다. 법적 실체를 추출하고 변호사 및 사건 간 네트워크를 구성하여 법적 성과를 순위 매기고 사건의 난이도를 평가한다. 명시적 실체 인식, 그래프 마이닝, 공동체 탐지 기법을 적용함으로써 변호사의 효과성과 사건의 복잡성에 대한 데이터 기반 통찰을 가능하게 하며, 일반인을 위한 투명성 향상을 통해 접근성 격차를 줄이려 한다.

ABSTRACT

Artificial Intelligence techniques are already popular and important in the legal domain. We extract legal indicators from judicial judgment to decrease the asymmetry of information of the legal system and the access-to-justice gap. We use NLP methods to extract interesting entities/data from judgments to construct networks of lawyers and judgments. We propose metrics to rank lawyers based on their experience, wins/loss ratio and their importance in the network of lawyers. We also perform community detection in the network of judgments and propose metrics to represent the difficulty of cases capitalising on communities features.

연구 동기 및 목표

• 프랑스 사법 결정에서 액션 가능한 통찰을 추출함으로써 법적 시장 내 정보 비대칭을 줄이기 위해.
• 경험 많고 효과적인 변호사를 선택할 수 있도록 일반인의 법적 접근성을 향상시키기 위해 데이터 기반 도구를 제공하기 위해.
• 법적 공동체의 구조와 승패 패턴을 기반으로 한 사건 난이도 측정 지표를 개발하기 위해.
• 변호사 및 판결 간 네트워크를 구성하여 법적 성과와 체계적 패턴을 시각화하기 위해.
• 비전문가가 복잡한 법적 절차를 안내할 수 있는 사용자 友好的 법적 인터페이스 설계를 지원하기 위해.

제안 방법

• 40,000건의 프랑스 상고법원 판결에서 변호사 및 법적 실체를 추출하기 위해 명시적 실체 인식(NER) 모델을 적용한다.
• 대립 네트워크(청구인 대 피청구인)와 공동 협력 네트워크(공동 변호사)를 구성하여 변호사 성과를 평가한다.
• 가중치가 부여된 방향성 PageRank를 사용하여 변호사를 순위 매기며, 간선 가중치는 승리 횟수와 역할(청구인 대 피청구인)을 반영하여 고가치 승리에 초점을 맞춘다.
• 공통된 법적 기사의 인용을 기반으로 사례 유사성 네트워크를 구축하며, 두 사례가 최소 k개의 동일한 기사를 인용할 경우 간선을 형성한다.
• 공동체 탐지 알고리즘을 통해 밀도 높은 내부 연결과 희박한 상호 공동체 간 연결을 기반으로 주제적으로 유사한 사례 집합을 식별한다.
• 검출된 공동체 내 승패 비율을 사용하여 사건 난이도를 추정하며, 높은 패배 비율을 보이는 공동체는 더 높은 난이도를 의미한다.

실험 결과

연구 질문

• RQ1 NLP 기법을 어떻게 활용하여 프랑스 사법 결정에서 의미 있는 법적 실체와 성과 지표를 추출할 수 있는가?
• RQ2 경험, 승패 비율, 네트워크 중심성 등을 기반으로 변호사를 효과적으로 순위 매길 수 있는 지표는 무엇인가?
• RQ3 판결의 네트워크 분석을 통해 유사한 법적 문제를 가진 공동체를 어떻게 파악하고 사건 난이도 평가에 활용할 수 있는가?
• RQ4 법적 공동체 내 승패 비율이 사건 난이도의 대체 지표로 얼마나 유의미하게 기능하는가?
• RQ5 판결의 자동 처리가 일반인의 법적 접근성 향상에 어떻게 기여할 수 있는가?

주요 결과

• PageRank로 높은 순위를 받는 변호사들은 경험 많은 상대방에게 청구인으로 자주 승리하는 사람들로, 더 높은 전략적 효과성을 보여준다.
• 승패 비율이 낮음에도 불구하고 변호사 350번은 변호사 387번보다 청구인으로서 더 강한 상대방에게 더 많은 고가치 승리를 거두었기 때문에 선호된다.
• k ≥ 4로 설정한 네트워크는 명확한 공동체 구조를 보이며, 공동체는 각각 고유한 승패 패턴을 보인다 — 일부는 높은 패배 비율을, 다른 일부는 높은 승리 비율을 보인다.
• 결과에서 빨간색으로 圈된 공동체는 높은 패배 비율을 나타내며, 초록색 공동체는 높은 승리 비율을 나타내어 공동체 수준의 승패 비율이 난이도의 대체 지표로 유효함을 검증한다.
• 공통된 법적 기사 인용을 기반으로 한 사례 네트워크는 주제적으로 유사한 판결을 그룹화할 수 있도록 허용하며, 의미 있는 법적 유사성 집합을 식별한다.
• 이 프레임워크는 NLP, 네트워크 분석, 공동체 탐지 기법을 융합함으로써 비법적 사용자를 위한 실질적이고 투명성 향상 통찰을 생성할 수 있음을 입증한다.