[논문 리뷰] Extreme Multi-Label Legal Text Classification: A case study in EU Legislation

Ilias Chalkidis, Manos Fergadiotis외 3명|arXiv (Cornell University)|2019. 05. 26.

Topic Modeling참고 문헌 33인용 수 22

한 줄 요약

이 논문은 극단적 다중라벨 텍스트 분류를 위한 유럽연합 입법문서 57,000건을 포함하는 대규모 데이터셋 EURLEX57K를 소개한다. 이 데이터셋은 유로보크 개념으로 레이블링되어 있으며, 양방향 GRU에 자기주의와 레이블별 주의 메커니즘을 결합한 BIGRU-LWAN 모델이 이전 최고 성능 모델들을 능가함을 입증한다. 특히 빈도가 높은 레이블과 少수 샘플 레이블 예측에서 뛰어난 성능을 보이며, 레이블 설명어를 활용하는 제로샷 버전(z-BIGRU-LWAN)은 희귀 레이블 예측에서 뛰어난 성능을 기록한다.

ABSTRACT

We consider the task of Extreme Multi-Label Text Classification (XMTC) in the legal domain. We release a new dataset of 57k legislative documents from EURLEX, the European Union's public document database, annotated with concepts from EUROVOC, a multidisciplinary thesaurus. The dataset is substantially larger than previous EURLEX datasets and suitable for XMTC, few-shot and zero-shot learning. Experimenting with several neural classifiers, we show that BIGRUs with self-attention outperform the current multi-label state-of-the-art methods, which employ label-wise attention. Replacing CNNs with BIGRUs in label-wise attention networks leads to the best overall performance.

연구 동기 및 목표

• 유럽연합 입법 분야에서 극단적 다중라벨 분류(xMTC)에 적합한 대규모 공개 텍스트 데이터셋의 부족 문제를 해결하기 위해.
• 유럽 입법의 새로운 대규모 데이터셋을 활용해 다양한 신경망 아키텍처(특히 RNN과 CNN)의 xMTC 성능을 평가하기 위해.
• 희귀 또는 미사용 레이블에 대해 소수 샘플 및 제로샷 학습의 효과성을 조사하기 위해.
• 자기주의 주의와 레이블별 주의 메커니즘을 포함한 주의 메커니즘의 효율성을 법률 문서 태깅 맥락에서 비교하기 위해.
• 주의 히트맵을 시각화하여 법률 텍스트 분류에서 주의 메커니즘의 해석 가능성(해석 가능성)을 탐색하기 위해.

제안 방법

• 저자들은 EUR-LEX에서 유래한 57,000건의 영문 입법문서로 구성된 EURLEX57K 데이터셋을 공개한다. 이 데이터셋은 7,000개 이상의 개념을 포함하는 유로보크 어휘사전에 기반한 레이블링이 이루어졌으며, 극심한 클래스 불균형을 보인다.
• 다양한 신경망 아키텍처를 평가한다: 자기주의 주의를 갖춘 양방향 GRU(BIGRU-ATT), 계층적 주의 네트워크(HAN), 그리고 CNN 및 BIGRU 인코더를 사용한 레이블별 주의 네트워크(LWAN).
• 제안된 BIGRU-LWAN은 최고 성능을 기록한 CNN-LWAN 모델의 CNN 인코더를 양방향 GRU로 대체함으로써 더 나은 시퀀스 모델링과 향상된 성능을 달성한다.
• 제로샷 학습을 위해 Rios와 Kavuluru(2018b)의 z-CNN-LWAN 모델을 변형하여 CNN 대신 BIGRU를 사용함으로써 z-BIGRU-LWAN을 도입한다. 이 모델은 학습 중 레이블 설명어를 업데이트하지 않으며, 레이블 설명어를 활용한다.
• 주의 히트맵을 사용하여 예측에 기여하는 단어를 시각화함으로써 모델의 설명 가능성을 향상시키고, 법률 NLP 분야의 의사결정 지원에 기여한다.
• BIGRU-LWAN은 빈도가 높고 소수 샘플 레이블에 대해, z-BIGRU-LWAN은 제로샷 레이블에 대해 사용하는 앙상블 모델을 구성하여 레이블 유형 전반에 걸친 전반적 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기주의 주의를 갖춘 양방향 GRU는 극단적 다중라벨 법률 텍스트 분류에서 CNN 기반 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ2 레이블별 주의 네트워크에서 CNN 인코더를 양방향 GRU로 대체하면 대규모 법률 텍스트 데이터셋에서 성능 향상이 이루어지는가?
• RQ3 레이블이 희귀하거나 학습 중에 등장하지 않은 경우 제로샷 학습 방법의 효과는 어떠한가?
• RQ4 GRU 기반 모델의 주의 히트맵은 법률 텍스트 분류에서 예측에 기여하는 유의미한 증거를 제공할 수 있는가? 그리고 이는 설명 가능성을 높이는가?
• RQ5 레이블 설명어를 통합하면 제로샷 일반화 성능이 향상되는가? 이 성능 향상은 모델 아키텍처에 따라 증가하는가?

주요 결과

• CNN-LWAN의 CNN 인코더를 양방향 GRU로 대체한 BIGRU-LWAN은 EURLEX57K 데이터셋에서 모든 레이블 유형에 걸쳐 최고의 전반적 성능을 기록한다.
• BIGRU-ATT는 원래의 CNN-LWAN 모델을 능가하며, GRU에 자기주의 주의를 적용한 것이 법률 xMTC에 있어 강력한 기초 성능임을 입증한다.
• z-BIGRU-LWAN은 다른 제로샷 방법보다 뚜렷이 뛰어나며, 제로샷 레이블에서 R@5가 0.269에 도달하여 다른 모델은 R@5가 0.000이다.
• BIGRU-LWAN과 z-BIGRU-LWAN의 앙상블 모델은 가장 뛰어난 전반적 성능을 기록하지만, 제로샷 레이블의 빈도가 낮아(테스트 세트에서 163개) 성능 향상은 제한적이다.
• HAN 및 최대 풀링 집계기법(max-HSS, lw-HAN)는 성능이 열등하여, 이 맥락에서는 문서 섹션 수준의 구조적 정보가 xMTC에 유용하지 않음을 시사한다.
• BIGRU-LWAN의 주의 히트맵은 레이블별로 다중 색상의 시각화를 제공하여 각 예측 레이블에 관련된 단어를 식별하는 데 도움을 주며, 모델의 설명 가능성을 향상시킨다.