[논문 리뷰] Predicting the Outcome of Judicial Decisions made by the European Court of Human Rights

Conor O'Sullivan, Joeran Beel|arXiv (Cornell University)|2019. 12. 16.

Artificial Intelligence in Law참고 문헌 2인용 수 14

한 줄 요약

이 연구는 유럽인권재판소(ECHR)의 판결이 유럽인권규약의 특정 조항을 위반할지 예측하기 위해 기계학습을 적용한다. 판결문에 대해 N-grams, 단어 임베딩(echr2vec) 및 doc2vec를 사용하여 모델을 구축하였으며, 테스트 정확도는 68.83%를 기록하였다. 그러나 단순한 히어리스틱(다수결 예측) 기반 모델은 86.68%의 정확도를 기록하여 더 높은 성능을 보였으며, 이는 법적 NLP 연구에서 더 강력한 기준 모델이 필요하다는 점을 시사한다.

ABSTRACT

In this study, machine learning models were constructed to predict whether judgments made by the European Court of Human Rights (ECHR) would lead to a violation of an Article in the Convention on Human Rights. The problem is framed as a binary classification task where a judgment can lead to a "violation" or "non-violation" of a particular Article. Using auto-sklearn, an automated algorithm selection package, models were constructed for 12 Articles in the Convention. To train these models, textual features were obtained from the ECHR Judgment documents using N-grams, word embeddings and paragraph embeddings. Additional documents, from the ECHR, were incorporated into the models through the creation of a word embedding (echr2vec) and a doc2vec model. The features obtained using the echr2vec embedding provided the highest cross-validation accuracy for 5 of the Articles. The overall test accuracy, across the 12 Articles, was 68.83%. As far as we could tell, this is the first estimate of the accuracy of such machine learning models using a realistic test set. This provides an important benchmark for future work. As a baseline, a simple heuristic of always predicting the most common outcome in the past was used. The heuristic achieved an overall test accuracy of 86.68% which is 29.7% higher than the models. Again, this was seemingly the first study that included such a heuristic with which to compare model results. The higher accuracy achieved by the heuristic highlights the importance of including such a baseline.

연구 동기 및 목표

• ECHR 규약의 특정 인권 조항 위반 여부를 예측할 수 있는 기계학습 모델을 개발하는 것.
• N-grams, 단어 임베딩(echr2vec), 문단 임베딩(doc2vec) 등의 다양한 텍스트 특징 추출 기법이 사법 결과 예측에 얼마나 효과적인지 평가하는 것.
• 보류된 테스트 세트를 사용하여 향후 연구를 위한 현실적인 기준을 설정하는 것.
• 기존 데이터에서 가장 빈도가 높은 결과를 항상 예측하는 단순 히어리스틱 기반 모델과의 성능 비교를 수행하는 것.

제안 방법

• 문제는 ECHR 규약의 12개 조항 각각에 대해 '위반' 또는 '비위반'을 예측하는 이진 분류 작업으로 설정된다.
• ECHR 판결 문서에서 N-grams, 사전 학습된 단어 임베딩, 및 고유하게 학습된 echr2vec 모델을 사용해 텍스트 특징을 추출한다.
• ECHR 문서를 기반으로 doc2vec 모델을 학습하여 문서 수준의 임베딩을 생성하고, 이를 입력 특징으로 사용한다.
• 자동 스크립트(autosklearn)를 사용해 12개 조항에 대해 알고리즘 선택 및 하이퍼파라미터 튜닝을 자동화한다.
• 교차검증 및 보류된 테스트 세트를 사용해 모델을 훈련 및 평가하여 현실적인 성능 추정을 확보한다.
• 기존 데이터에서 가장 흔한 결과를 항상 예측하는 히어리스틱 기반 모델을 구현한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 특정 인권 조항 위반 여부를 정확하게 예측할 수 있는가?
• RQ2 N-grams, echr2vec, 또는 doc2vec 중 어떤 텍스트 특징 표현 방식이 ECHR 판결 결과 예측에 가장 높은 성능을 낼 수 있는가?
• RQ3 훈련된 모델의 성능은 단순한 다수결 히어리스틱 기반 모델과 비교해 어떻게 되는가?
• RQ4 보류된 테스트 세트에서 이러한 모델의 실제 일반화 정확도는 어느 정도인가?
• RQ5 일반 목적 임베딩 대비 도메인 특화 임베딩(echr2vec)이 예측 성능 향상에 얼마나 기여하는가?

주요 결과

• 모든 12개 조항에 대해 기계학습 모델의 총 테스트 정확도는 68.83%였다.
• echr2vec 단어 임베딩 모델은 12개 조항 중 5개에 대해 가장 높은 교차검증 정확도를 기록했다.
• 다수결 히어리스틱 기반 모델은 총 테스트 정확도 86.68%를 기록하여 가장 우수한 기계학습 모델보다 뚜렷이 높은 성능을 보였다.
• 히어리스틱 모델의 성능은 최고의 모델 대비 29.7% 높았으며, 이는 클래스 불균형이 예측 성능에 큰 영향을 미친다는 점을 시사한다.
• 이 연구는 보류된 테스트 세트를 사용해 ECHR 판결 예측에 대한 첫 번째 현실적인 기준을 제시하였으며, 향후 연구의 표준을 설정한다.
• 결과는 법적 NLP 모델 평가 시 강력하고 단순한 기준 모델을 포함하는 것이 중요하다는 점을 강조한다.