[논문 리뷰] Mining Legal Arguments in Court Decisions

Ivan Habernal, Daniel Faber외 5명|arXiv (Cornell University)|2022. 08. 12.

Artificial Intelligence in Law인용 수 6

한 줄 요약

이 논문은 유럽 인권재판소(ECHR) 판결에서의 법적 논거를 위한 이론 기반의 새로운 애너테이션 체계를 도입하고, 373건의 애너테이션 처리된 케이스(230만 토큰, 15,000개의 논거 스파ن 포함)로 구성된 대규모 코퍼스를 구축하며, RoBERTa-Large 기반의 논거 추출 모델을 제안한다. 이 모델은 최신 기술 수준의 법적 NLP 모델을 능가하며, 도메인 적응형 미리 훈련을 통해 뚜렷한 성능 향상을 이룬다. 전문가 평가를 통해 모델의 견고함이 확인되었으며, 특히 일반적인 논거 유형에서는 뛰어난 성능을 보였지만, 제한된 맥락으로 인해 희귀 유형은 여전히 도전 과제로 남아 있다.

ABSTRACT

Identifying, classifying, and analyzing arguments in legal discourse has been a prominent area of research since the inception of the argument mining field. However, there has been a major discrepancy between the way natural language processing (NLP) researchers model and annotate arguments in court decisions and the way legal experts understand and analyze legal argumentation. While computational approaches typically simplify arguments into generic premises and claims, arguments in legal research usually exhibit a rich typology that is important for gaining insights into the particular case and applications of law in general. We address this problem and make several substantial contributions to move the field forward. First, we design a new annotation scheme for legal arguments in proceedings of the European Court of Human Rights (ECHR) that is deeply rooted in the theory and practice of legal argumentation research. Second, we compile and annotate a large corpus of 373 court decisions (2.3M tokens and 15k annotated argument spans). Finally, we train an argument mining model that outperforms state-of-the-art models in the legal NLP domain and provide a thorough expert-based evaluation. All datasets and source codes are available under open lincenses at https://github.com/trusthlt/mining-legal-arguments.

연구 동기 및 목표

• NLP 연구자들이 법적 논거를 단순한 전제와 주장으로 모델링하는 방식과 법적 전문가들이 실제로 이해하는 방식 사이의 격차를 해소하기 위해, 다양한 논거 유형을 포함하는 풍부한 체계가 필요하다는 점을 다루기 위함.
• 실제 법적 추론에 충실한 법적 이론과 실무 기반의 ECHR 판결을 위한 새로운 애너테이션 체계를 설계하기 위함.
• 제3조, 제7조, 제8조를 다루는 373건의 ECHR 판결을 포함한 대규모 고품질 코퍼스를 편집하고 애너테이션 처리하여 15,205개의 논거 스파인을 확보하기 위함.
• 기존 모델보다 법적 NLP 분야에서 뛰어난 성능을 보이는 최신 기술 수준의 논거 추출 모델을 훈련하고 평가하기 위함.
• 특정 법적 논거 패턴이 ECHR 사무국이 결정한 사례의 중요도와 관련이 있는지 탐색하기 위함.

제안 방법

• 법적 논거 이론을 기반으로 하여, '사례법 적용', '필요성/비례성', '유예의 여지' 등 15종의 구체적인 논거 유형을 포함하는 ECHR 판결을 위한 새로운 애너테이션 체계를 개발함.
• 전문 법학자 애너테이터를 활용하여 373건의 ECHR 판결(230만 토큰)을 애너테이션 처리하여, 높은 상호 애너테이터 일치도와 법학 이론에 부합하는 결과를 확보함.
• ECHR 코퍼스에 기반하여 RoBERTa-Large를 피니튜닝하고, 유럽 법적 텍스트를 추가로 미리 훈련하여 도메인 적응 및 성능 향상을 도모함.
• 새로운 애너테이션 체계를 기반으로 시퀀스 레이블링 모델을 훈련하여 논거 스파인을 식별하고 분류하며, 전문가 검증 기반의 메트릭을 통해 성능을 평가함.
• 감독 학습 기반 선형 모델(SVM)을 적용하여 논거 유형 분포가 ECHR 사례의 중요도 수준을 예측할 수 있는지 탐색함.
• 애너테이션을 위해 INCEpTION 플랫폼을 사용하였으며, 신뢰성과 일관성을 확보하기 위해 철저한 일치도 연구와 반복적인 피LOT 테스트를 실시함.

실험 결과

연구 질문

• RQ1 법적 논거 이론이 법원 판결을 위한 논의 애너테이션 체계로 신뢰성 있게 구현될 수 있는 정도는 어느 정도인가?
• RQ2 ECHR 판결의 다양한 법적 논거 유형에 대해 잘 일반화되는 견고한 논거 추출 모델을 어떻게 구축할 수 있는가?
• RQ3 표준 피니튜닝 대비 도메인 적응형 미리 훈련이 법적 텍스트에서 논거 추출 성능을 크게 향상시키는가?
• RQ4 판결 내부의 논거 유형 분포가 ECHR 사무국이 부여한 사례의 중요도 수준을 예측할 수 있는가?
• RQ5 일반적인 유형과 희귀 유형 간에 모델 성능과 오류 패턴은 어떻게 다름가? 맥락은 어떤 역할을 하는가?

주요 결과

• ECHR 코퍼스에 맞춰 피니튜닝하고, 추가로 유럽 법적 텍스트로 미리 훈련한 RoBERTa-Large 모델은 최신 기술 수준의 성능을 달성하였으며, 기준 모델 대비 논거 유형 예측에서 최대 11% 향상됨.
• 충분한 맥락이 제공될 경우 일반적인 논거 유형(예: '사례법 적용', '필요성/비례성')에서는 뛰어난 성능을 보였지만, 훈련 신호가 부족하여 희귀 유형에서는 어려움을 겪음.
• 다른 ECHR 조항의 판결 간 일반화 시 성능이 최대 27% 하락하여, 법적 조항 간 논거 패턴의 상당한 다양성이 드러남.
• 전문가 분석 결과, 희귀 논거 유형에서의 오류는 주로 맥락 부족에서 기인하며, 이러한 경우 모델 예측이 때로는 골드 표준 애너테이션보다 더 설득력 있음.
• 사례 중요도를 예측하기 위한 SVM 모델은 강력한 분류 능력을 보이지 않아, ECHR 판결이 중요도에 관계없이 일관된 기준을 유지하며, 대부분의 사례에서 유사한 논거 유형 분포를 보임을 시사함.
• 모든 데이터셋과 코드는 오픈 라이선스 하에 공개되어 재현 가능성과 법적 논거 추출 분야의 향후 연구를 가능하게 함.