[논문 리뷰] Empirical Comparisons of CNN with Other Learning Algorithms for Text Classification in Legal Document Review

Robert Keeling, Rishi Chhatwal외 6명|arXiv (Cornell University)|2019. 12. 19.

Topic Modeling참고 문헌 10인용 수 6

한 줄 요약

이 연구는 실제 법적 문서 검토 환경에서 텍스트 분류를 위한 컨볼루션 신경망(CNN)과 로지스틱 회귀, 서포트 벡터 머신, 랜덤 포레스트를 실증적으로 비교한다. 다양한 문서 길이를 가진 네 개의 실제 eDiscovery 데이터셋을 사용하여, 저자들은 CNN이 우수한 성능을 보였지만, 모든 데이터셋과 학습 샘플 크기에서 한 가지 알고리즘이 항상 다른 알고리즘을 압도하지는 않음을 발견한다. 이는 법적 AI 응용 분야에서 모델 선택이 맥락에 따라 달라져야 한다는 점을 강조한다.

ABSTRACT

Research has shown that Convolutional Neural Networks (CNN) can be effectively applied to text classification as part of a predictive coding protocol. That said, most research to date has been conducted on data sets with short documents that do not reflect the variety of documents in real world document reviews. Using data from four actual reviews with documents of varying lengths, we compared CNN with other popular machine learning algorithms for text classification, including Logistic Regression, Support Vector Machine, and Random Forest. For each data set, classification models were trained with different training sample sizes using different learning algorithms. These models were then evaluated using a large randomly sampled test set of documents, and the results were compared using precision and recall curves. Our study demonstrates that CNN performed well, but that there was no single algorithm that performed the best across the combination of data sets and training sample sizes. These results will help advance research into the legal profession's use of machine learning algorithms that maximize performance.

연구 동기 및 목표

• 컨볼루션 신경망(CNN)이 기존의 기계학습 알고리즘과 비교하여 법적 문서 검토에서 얼마나 효과적인지 평가하는 것.
• 다양한 길이의 문서를 가진 실제 eDiscovery 데이터셋에서 모델 성능가 어떻게 변하는지 평가하는 것.
• CNN이 로지스틱 회귀, 서포트 벡터 머신(SVM), 랜덤 포레스트와 같은 전통적 알고리즘을 일관되게 뛰어넘는지 확인하는 것.
• 다양한 알고리즘에서 학습 샘플 크기가 분류 성능에 어떤 영향을 미치는지 분석하는 것.
• 데이터셋 특성에 기반하여 법적 텍스트 분류에 최적의 모델을 선택하는 데 도움을 주는 것.

제안 방법

• 연구는 실제 문서 검토 과정에서 유래한 네 개의 실제 eDiscovery 데이터셋을 사용하며, 각 데이터셋은 다양한 길이의 문서를 포함한다.
• 다양한 학습 샘플 크기를 사용하여 각 데이터셋에서 CNN, 로지스틱 회귀, SVM, 랜덤 포레스트 등의 기계학습 모델을 학습시킨다.
• 모델의 성능를 정확하게 측정하기 위해 대규모 무작위 샘플 테스트 세트를 사용하여 평가한다.
• 성능는 정밀도와 재현율 곡선을 사용하여 알고리즘과 데이터셋 간의 상호 교환 관계를 비교한다.
• 평가 이전에 각 모델의 하이퍼파rameter를 튜닝하여 최적의 설정을 확보한다.
• 분석은 다양한 법적 문서 유형과 길이에서의 일반화 성능에 중점을 둔다.

실험 결과

연구 질문

• RQ1 다양한 길이의 법적 문서를 분류하는 데서 CNN이 기존의 기계학습 알고리즘을 뛰어넘는가?
• RQ2 실제 법적 문서 검토 환경에서 다양한 학습 샘플 크기에 따라 모델 성능는 어떻게 변하는가?
• RQ3 모든 법적 문서 검토 데이터셋과 학습 크기에서 유일하게 가장 뛰어난 성능을 보이는 알고리즘이 존재하는가?
• RQ4 실제 법적 텍스트 분류에서 정밀도와 재현율 곡선은 CNN과 다른 알고리즘 간에 어떻게 다를까?
• RQ5 문서 길이와 데이터 다양성은 법적 AI 응용 분야에서 모델 선택에 얼마나 큰 영향을 미치는가?

주요 결과

• CNN은 네 개의 법적 문서 검토 데이터셋 전반에서 뛰어난 성능를 보였으며, 실제 환경에서의 효과성을 입증하였다.
• 모든 데이터셋과 학습 샘플 크기에서 한 가지 알고리즘이 항상 다른 알고리즘을 압도하지는 않았다.
• 성능는 특정 데이터셋과 학습 샘플 크기에 따라 크게 달라졌다.
• 로지스틱 회귀와 SVM은 특히 작은 학습 세트에서 경쟁력 있는 결과를 보였다.
• 랜덤 포레스트는 일부 데이터셋에서 우수한 성능를 보였지만, CNN이나 로지스틱 회귀만큼 일관되지는 않았다.
• 결과는 모델 선택이 단일 '최고의 알고리즘'에 의존하기보다는 데이터 기반이고 맥락에 따라 결정되어야 한다는 점을 시사한다.