[논문 리뷰] Legal Area Classification: A Comparative Study of Text Classifiers on Singapore Supreme Court Judgments

Jerrold Soh, Lim How Khang외 1명|arXiv (Cornell University)|2019. 04. 13.

Artificial Intelligence in Law참고 문헌 20인용 수 5

한 줄 요약

이 연구는 싱가포르 대법원 판결문을 31개 법적 분야로 분류하기 위해 최신 NLP 모델(비트, 워드 임베딩, LSA)을 전통적 통계 모델과 비교한다. 딥러닝의 우세에도 불구하고 정밀도에서는 LSA 기반 모델이 신경망을 앞서며, BERT와 GloVe-CNN은 재현율에서 뛰어난 성능을 보여, 장기간 법적 텍스트에 대해 도메인 특화 미세조정이 필요함을 시사한다.

ABSTRACT

This paper conducts a comparative study on the performance of various machine learning (``ML'') approaches for classifying judgments into legal areas. Using a novel dataset of 6,227 Singapore Supreme Court judgments, we investigate how state-of-the-art NLP methods compare against traditional statistical models when applied to a legal corpus that comprised few but lengthy documents. All approaches tested, including topic model, word embedding, and language model-based classifiers, performed well with as little as a few hundred judgments. However, more work needs to be done to optimize state-of-the-art methods for the legal domain.

연구 동기 및 목표

• 싱가포르 대법원 판결문을 법적 분야로 분류하는 데 있어 현대 NLP 모델과 전통적 통계 모델의 성능을 평가하는 것.
• 데이터 부족과 문서 길이가 법적 NLP에서 텍스트 분류기 성능에 미치는 영향을 조사하는 것.
• BERT 및 ULMBERT와 같은 최신 딥러닝 모델이 소수의 장기간 판결문으로 구성된 법적 코퍼스에 잘 일반화되는지 평가하는 것.
• 31개 법적 분야에 대해 레이블링된 6,227건의 싱가포르 대법원 판결문으로 구성된 신규 데이터셋을 활용해 법적 분야 분류의 기준을 설정하는 것.
• 재현율 중심의 법적 검색 작업에서 키워드 기반 베이스라인의 실현 가능성 탐색

제안 방법

• 연구는 6,227건의 싱가포르 대법원 판결문으로 구성된 신규 데이터셋을 사용하며, 수작업으로 31개 일반법 분야로 레이블링됨.
• 텍스트 분류 모델로는 전통적 접근(모델 기반 LSA, TF-IDF + 선형 SVM), 워드 임베딩(GloVe, CNN, 평균/최대 풀링), 트랜스포머 기반 모델(BERT-base, BERT-large, ULMBERT)이 포함됨.
• 모델들은 전체 데이터셋의 10%, 50%, 100%에 해당하는 데이터 서브셋을 대상으로 훈련 및 평가되어 데이터 효율성 평가됨.
• 성능 평가는 마이크로 및 마크로 정밀도와 재현율을 사용하며, 키워드 기반 베이스라인(count_25)은 25개 용어로 구성된 법적 온톨로지를 활용함.
• 입력 길이 제약을 해결하기 위해 BERT와 같은 모델이 전체 길이의 텍스트를 처리할 수 없음을 감안해 장기간 판결문을 잘라내거나 분할함.
• 모든 모델은 하이퍼파라미터 튜닝 없이 그대로 평가되어 공정한 비교를 확보함.

실험 결과

연구 질문

• RQ1 최신 NLP 모델은 전통적 통계 모델과 비교해 법적 판결문을 법적 분야로 분류하는 데 어떻게 성능을 내는가?
• RQ2 소수의 레이블링된 판결문(수천 건)이 현대 딥러닝 모델의 법적 텍스트 분류 성능에 얼마나 영향을 미치는가?
• RQ3 문서 길이와 입력 길이 제약이 BERT와 같은 트랜스포머 기반 모델의 법적 텍스트 성능에 어떻게 영향을 미치는가?
• RQ4 간단한 키워드 기반 베이스라인이 재현율 중심의 법적 검색 작업에서 복잡한 신경망 모델을 능가할 수 있는가?
• RQ5 도메인 특화 사전학습 및 미세조정은 법적 코퍼스에서 모델 성능 향상에 어떤 역할을 하는가?

주요 결과

• LSA 기반 모델이 전체 100% 데이터셋에서 가장 높은 마크로 정밀도(80.0%)를 기록하며, BERT 및 GloVe-CNN 모델을 모두 앞서는 성과를 보였다.
• 10% 서브셋에서는 $glove_{cnn}$ 이 가장 높은 마크로 정밀도(75.3%)를 기록했지만, $lsa_{250}$ 역시 2위로 74.2%를 기록했다.
• BERT 모델은 10% 및 50% 서브셋에서 가장 높은 마이크로 및 마크로 재현율을 기록했으며, $bert_{large}$ 는 100% 데이터셋에서 68.5%의 마이크로 재현율과 61.6%의 마크로 재현율을 달성했다.
• 키워드 기반 베이스라인 $count_{25}$ 는 모든 데이터 서브셋에서 마이크로 및 마크로 재현율 모두에서 다른 모든 모델을 능가했으며, 재현율 중심 작업에서 강력한 기준 성능을 보여주었다.
• 하이퍼파라미터 튜닝 없이도 BERT 모델은 레이블링된 판결문이 588건으로서도 경쟁 가능한 성능을 보였으며, 데이터 효율적인 적응 가능성 잠재력을 보여주었다.
• ULMBERT는 10% 서브셋에서는 뛰어난 성능을 보였지만, 더 많은 데이터가 제공될 경우 성능 향상이 효과적으로 이루어지지 않아 데이터 활용 능력에 한계가 있음을 시사했다.