[논문 리뷰] Large Scale Legal Text Classification Using Transformer Models

Zein Shaheen, Gerhard Wohlgenannt외 1명|arXiv (Cornell University)|2020. 10. 24.

Natural Language Processing Techniques참고 문헌 32인용 수 10

한 줄 요약

이 논문은 JRC-Acquis 및 EURLEX57K 데이터셋에서 BERT, RoBERTa, DistilBERT, XLNet, 다국어 BERT를 사용하여 대규모 법적 텍스트 분류를 위한 토너먼트 기반의 최적화된 접근법을 제안한다. 언어 모델 미세조정, 점진적 고정 해제, 반복적 분层 기반 데이터 분할 전략을 통해 각각 0.661과 0.754의 새로운 최고 성능(micro-F1)을 달성하였다.

ABSTRACT

Large multi-label text classification is a challenging Natural Language Processing (NLP) problem that is concerned with text classification for datasets with thousands of labels. We tackle this problem in the legal domain, where datasets, such as JRC-Acquis and EURLEX57K labeled with the EuroVoc vocabulary were created within the legal information systems of the European Union. The EuroVoc taxonomy includes around 7000 concepts. In this work, we study the performance of various recent transformer-based models in combination with strategies such as generative pretraining, gradual unfreezing and discriminative learning rates in order to reach competitive classification performance, and present new state-of-the-art results of 0.661 (F1) for JRC-Acquis and 0.754 for EURLEX57K. Furthermore, we quantify the impact of individual steps, such as language model fine-tuning or gradual unfreezing in an ablation study, and provide reference dataset splits created with an iterative stratification algorithm.

연구 동기 및 목표

• 장기 꼬리 레이블 분포를 가진 데이터셋에서 법적 도메인 내 대규모 다중 레이블 텍스트 분류(LMTC)의 최고 성능을 향상시키는 것.
• 수천 개의 레이블을 가진 법적 텍스트에서 최근 트랜스포머 모델(BERT, RoBERTa, DistilBERT, XLNet, 다국어 BERT)의 효과를 평가하는 것.
• 향후 연구 간 공정한 비교를 가능하게 하기 위해 반복적 분층 기반으로 표준화되고 재현 가능한 데이터 분할을 확립하는 것.
• 학습 전략(예: 언어 모델 미세조정, 점진적 고정 해제, 특별한 학습률 스케줄링)의 영향을 정량화하는 것.
• EuroVoc 분류 체계의 계층적 구조를 활용해 레이블 수를 줄이고 분류 성능을 향상시키는 방법을 도출하는 것.

제안 방법

• JRC-Acquis 및 EURLEX57K의 법적 텍스트에 대해 도메인 특화 미세조정을 적용한 다중 트랜스포머 모델(BERT, RoBERTa, DistilBERT, XLNet, 다국어 BERT)을 사용한 학습.
• 목표 법적 텍스트에서의 언어 모델 미세조정, 계층적 레이어 그룹별 점진적 고정 해제, 기울어진 삼각형 학습률 스케줄링을 포함한 학습 전략 적용.
• 모든 데이터셋에 대해 재현 가능하고 균형 잡힌 훈련/검증/테스트 분할을 확보하기 위해 반복적 분층 기반의 표준화된 분할 생성.
• EuroVoc 분류 체계의 의미적 관계를 활용해 레이블 수를 줄인 집합(예: 상위 용어, 마이크로어스터노미, 영역)을 도출하여 분류 성능 향상.
• 각 학습 전략 및 하이퍼파라미터의 기여도를 분리하기 위해 추론 분석 수행.
• 주요 평가 지표로 micro-F1를 사용하였으며, 계산 효율성 분 析를 위해 표준 CPU에서 추론 시간 측정.

실험 결과

연구 질문

• RQ1 장기 꼬리 레이블 분포를 가진 대규모 법적 텍스트 분류에서 트랜스포머 기반 모델의 성능은 어떻게 비교되는가?
• RQ2 언어 모델 미세조정과 점진적 고정 해제는 수천 개의 레이블을 가진 법적 텍스트 분류 성능에 어떤 영향을 미치는가?
• RQ3 반복적 분층 기반 분할이 랜덤 분할보다 법적 텍스트 분류에서 더 신뢰성 있고 비교 가능한 데이터 분할을 제공할 수 있는가?
• RQ4 EuroVoc 분류 체계의 계층적 구조를 얼마나 활용해 레이블 공간을 줄이고 정확도를 향상시킬 수 있는가?
• RQ5 이 LMTC 환경에서 다양한 트랜스포머 아키텍처 간 계산 비용과 추론 시간은 어떻게 달라지는가?

주요 결과

• 제안된 방법은 JRC-Acquis 데이터셋에서 새로운 최고 성능(micro-F1 0.661)과 EURLEX57K 데이터셋에서 0.754의 성능 달성.
• RoBERTa와 DistilBERT가 대부분의 설정에서 BERT를 능가했으며, DistilBERT는 낮은 계산 비용으로도 뛰어난 성능를 보였다.
• 언어 모델 미세조정과 점진적 고정 해제가 모두 높은 성능 달성에 필수적이었으며, 추론 분석을 통해 그 긍정적 영향이 뚜렷하게 확인되었다.
• DistilBERT는 가장 낮은 추론 시간(12 ms/예측)을 기록했고, XLNet는 가장 높은 시간(77 ms/예측)을 기록하여 정확도와 효율성 간의 상충 관계를 보여주었다.
• EuroVoc 계층 구조에서 유도된 감소된 레이블 집합은 높은 분류 점수를 달성하여 의미적 구조를 활용하는 가치를 입증하였다.
• 다국어 BERT는 초기 결과에서 유망한 성능를 보였으며, 향후 다국어 미세조정 및 병렬 어휘 자료를 활용한 연구에 잠재력이 있음을 시사하였다.