[논문 리뷰] Pretrained Generalized Autoregressive Model with Adaptive Probabilistic Label Clusters for Extreme Multi-label Text Classification

Hui Ye, Zhiyu Chen외 2명|arXiv (Cornell University)|2020. 07. 05.

Text and Document Classification Technologies참고 문헌 39인용 수 16

한 줄 요약

이 논문은 대량의 레이블 집합을 가진 극단적 다중 레이블 텍스트 분류를 위한 새로운 딥러닝 프레임워크인 APLC-XLNet을 제안한다. 이는 XLNet 사전학습된 언어 모델을 미세조정하여 텍스트 표현을 향상시키고, 불균형한 레이블 분포를 효율적으로 처리하기 위해 적응형 확률적 레이블 클러스터링(APLC)을 도입한다. 이 방법은 다섯 개의 벤치마크 데이터셋 중 네 개에서 최신 기술 수준(SOTA) 성능을 달성하였으며, EURLex-4k에서 P@3 및 P@5 기준 최대 10% 향상을 이룩하였다.

ABSTRACT

Extreme multi-label text classification (XMTC) is a task for tagging a given text with the most relevant labels from an extremely large label set. We propose a novel deep learning method called APLC-XLNet. Our approach fine-tunes the recently released generalized autoregressive pretrained model (XLNet) to learn a dense representation for the input text. We propose Adaptive Probabilistic Label Clusters (APLC) to approximate the cross entropy loss by exploiting the unbalanced label distribution to form clusters that explicitly reduce the computational time. Our experiments, carried out on five benchmark datasets, show that our approach has achieved new state-of-the-art results on four benchmark datasets. Our source code is available publicly at https://github.com/huiyegit/APLC_XLNet.

연구 동기 및 목표

• 거대한 레이블 집합을 가진 극단적 다중 레이블 텍스트 분류(XMTC)에서 효과적이고 문맥에 민감한 텍스트 표현을 학습하는 데 도전한다.
• 레이블 분포의 희소성을 활용하여 매우 큰 레이블 집합을 사용할 때 발생하는 계산 비효율성을 해결한다.
• 예측 정확도를 훼손하지 않으면서도 학습 및 추론 시간을 줄일 수 있는 유연하고 확장 가능한 출력층 메커니즘을 개발한다.
• 사전학습된 언어 모델과 구조화된 레이블 클러스터링을 결합한 방법이 XMTC 작업에 효과적인지 입증한다.

제안 방법

• 입력 텍스트 시퀀스의 깊고 문맥에 민감한 표현을 학습하기 위해 일반화된 순차적 예측 사전학습 모델인 XLNet을 미세조정한다.
• 레이블의 빈도와 동시 발생 패턴에 기반해 레이블을 군집화하는 계층적 클러스터링 전략인 적응형 확률적 레이블 클러스터링(APLC)을 도입한다.
• APLC를 사용해 출력층을 헤드 클러스터(고빈도 레이블)와 테일 클러스터(저빈도 레이블)로 분할하여 교차 엔트로피 손실을 근사함으로써 계산량을 감소시킨다.
• 두 단계 예측을 적용한다: 먼저 헤드 클러스터를 예측하고, 선택된 클러스터 내에서 조건부 확률 모델을 사용해 예측을 정밀화한다.
• 클러스터 할당 과정을 통해 역전파가 가능한 미분 가능한 클러스터링 메커니즘을 활용하여 엔드 투 엔드 학습을 가능하게 한다.
• 클러스터 수와 레이블 분포 비율 등의 조정 가능한 파rameter를 설정하여 정확도와 계산 비용 간의 균형을 조절한다.

실험 결과

연구 질문

• RQ1 기존 모델 대비 XLNet을 텍스트 표현에 대해 미세조정하는 것이 극단적 다중 레이블 텍스트 분류에서 성능 향상에 상당한 기여를 할 수 있는가?
• RQ2 불균형한 레이블 분포에서 예측 정확도를 유지하거나 향상시키면서도 계산 비용을 줄이는 데 APLC 메커니즘이 얼마나 효과적인가?
• RQ3 클러스터 수와 클러스터 간 레이블 분포가 다양한 XMTC 데이터셋에서 모델 성능에 미치는 영향은 어떠한가?
• RQ4 APLC는 텍스트 분류를 초월한 다른 극단적 분류 작업의 효율적인 출력층으로 일반화될 수 있는가?

주요 결과

• APLC-XLNet은 다섯 개의 벤치마크 데이터셋 중 네 개에서 새로운 최신 기술 수준(SOTA) 성능을 달성하였으며, 이전 SOTA 방법인 AnnexML 대비 EURLex-4k에서 P@3 및 P@5 기준 최대 10% 향상을 기록하였다.
• EURLex-4k, AmazonCat-13k, Wiki10-31k 세 데이터셋에서 DisMEC 및 AttentionXML과 같은 강력한 베이스라인 모델을 초월하였으며, 상위-k 정밀도에서 일관된 성능 향상을 보였다.
• EURLex-4k에서 APLC-XLNet는 단지 2개의 클러스터로 P@1이 87.72를 기록했으며, 클러스터 수를 6개로 늘리자 성능이 2% 하락하였다. 이는 너무 많은 클러스터가 성능을 떨어뜨릴 수 있음을 시사한다.
• 절단 분석 결과, 헤드 클러스터에 더 많은 레이블을 할당하는 것(예: 70%)이 특히 EURLex와 같이 극도로 불균형한 레이블 분포를 가진 데이터셋에서 P@1 향상에 크게 기여한다.
• 클러스터 수가 증가하더라도 모델이 높은 성능을 유지함으로써, 하이퍼파ram터 조정에 대한 강건성과 유연성을 입증하였다.
• 구조화된 레이블 클러스터링을 통해 계산 비용을 줄이며 높은 정확도를 유지함으로써, 대규모 레이블 집합을 가진 실세계 응용 분야에 적합한 모델임을 입증하였다.