[논문 리뷰] X-BERT: eXtreme Multi-label Text Classification with BERT

Wei-Cheng Chang, Hsiang‐Fu Yu외 3명|arXiv (Cornell University)|2019. 05. 07.

Text and Document Classification Technologies인용 수 7

한 줄 요약

X-BERT는 극단적 다중라벨 텍스트 분류(XMC)를 위한 미세조정된 BERT 기반 모델을 제안하며, 문서와 라벨 텍스트를 함께 활용하여 의미론적 라벨 클러스터를 학습하고 라벨 간 종속성을 모델링한다. 0.5M 라벨을 가진 위키 데이터셋에서 최신 기술 성능을 달성하여 정밀도@1이 67.80%에 도달했으며, Parabel 대비 11.31% 상대적 향상률을 기록한다.

ABSTRACT

Extreme multi-label text classification (XMC) aims to tag each input text with the most relevant labels from an extremely large label set, such as those that arise in product categorization and e-commerce recommendation. Recently, pretrained language representation models such as BERT achieve remarkable state-of-the-art performance across a wide range of NLP tasks including sentence classification among small label sets (typically fewer than thousands). Indeed, there are several challenges in applying BERT to the XMC problem. The main challenges are: (i) the difficulty of capturing dependencies and correlations among labels, whose features may come from heterogeneous sources, and (ii) the tractability to scale to the extreme label setting as the model size can be very large and scale linearly with the size of the output space. To overcome these challenges, we propose X-BERT, the first feasible attempt to finetune BERT models for a scalable solution to the XMC problem. Specifically, X-BERT leverages both the label and document text to build label representations, which induces semantic label clusters in order to better model label dependencies. At the heart of X-BERT is finetuning BERT models to capture the contextual relations between input text and the induced label clusters. Finally, an ensemble of the different BERT models trained on heterogeneous label clusters leads to our best final model. Empirically, on a Wiki dataset with around 0.5 million labels, X-BERT achieves new state-of-the-art results where the precision@1 reaches 67:80%, a substantial improvement over 32.58%/60.91% of deep learning baseline fastText and competing XMC approach Parabel, respectively. This amounts to a 11.31% relative improvement over Parabel, which is indeed significant since the recent approach SLICE only has 5.53% relative improvement.

연구 동기 및 목표

• 대규모 라벨 집합을 가진 극단적 다중라벨 텍스트 분류(XMC)에서 복잡한 라벨 종속성을 모델링하는 과제를 해결하기 위해.
• 모델 크기가 출력 공간에 비례해 선형적으로 증가하는 극단적 라벨 설정에서 BERT 기반 모델을 효율적으로 스케일링하기 위해.
• 문서와 라벨 텍스트를 함께 모델링하여 의미론적 라벨 클러스터를 유도하고 XMC 작업의 성능을 향상시키기 위해.
• 기존 딥러닝 및 XMC 전용 베이스라인을 능가하는 확장 가능한, 미세조정된 BERT 솔루션을 개발하기 위해.
• 이종 라벨 클러스터에 대한 앙상블 학습을 통해 대규모 XMC 벤치마크에서 상당한 성능 향상을 입증하기 위해.

제안 방법

• X-BERT는 문서 텍스트와 라벨 텍스트를 함께 인코딩하여 의미론적 관계를 포착하는 방식으로 라벨 표현을 구성한다.
• 입력 텍스트와 유도된 라벨 클러스터 간의 문맥적 상호작용을 모델링하기 위해 BERT를 미세조정함으로써 라벨 종속성 학습을 향상시킨다.
• 라벨 클러스터는 공동 문서-라벨 표현에서 유도된 의미적 유사도를 바탕으로 형성되며, 라벨 상관관계의 구조적 모델링을 가능하게 한다.
• 다양한 이종 라벨 클러스터에 대해 훈련된 BERT 변종의 앙상블을 활용하여 일반화 및 내성 강도를 향상시킨다.
• 정밀도@1과 같은 XMC 메트릭을 최적화하기 위해 공동 표현 공간에서 엔드 투 엔드로 미세조정을 수행한다.
• 클러스터링을 통해 효과적인 라벨 공간을 축소함으로써 의미적 일관성을 유지하면서도 효율적인 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 50만 개가 넘는 라벨를 가진 경우에도 BERT가 극단적 다중라벨 텍스트 분류에 효과적으로 미세조정될 수 있는가?
• RQ2 극단적 다중라벨 설정에서 라벨 종속성과 상관관계를 효과적으로 모델링할 수 있는가?
• RQ3 문서와 라벨 텍스트의 공동 인코딩이 라벨의 의미론적 클러스터링과 후속 분류 성능 향상에 기여하는가?
• RQ4 이종 라벨 클러스터에 기반한 앙상블 BERT 모델이 XMC에서 어떤 성능 향상을 가져오는가?
• RQ5 Parabel과 fastText와 같은 최신 기술 XMC 방법과 비교할 때, X-BERT는 대규모 데이터셋에서 정밀도@1 측면에서 어떤 성능을 보이는가?

주요 결과

• X-BERT는 약 0.5M 라벨를 가진 위키 데이터셋에서 정밀도@1이 67.80%를 기록하여 새로운 최신 기술 성능을 수립했다.
• 강력한 경쟁 XMC 방법인 Parabel 대비 상대적 성능 향상률이 11.31%로 상당한 향상을 보였다.
• Parabel 대비 성능 향상률이 SLICE의 두 배 이상을 초월하며(5.53% 상대적 향상률), X-BERT의 효과성을 입증했다.
• 공동 문서-라벨 인코딩을 활용함으로써 라벨의 의미론적 클러스터링이 향상되었으며, 이는 라벨 종속성 모델링 향상에 기여했다.
• 이종 라벨 클러스터에 기반한 여러 BERT 모델의 앙상블은 단일 모델 베이스라인 대비 성능 향상에 크게 기여했다.
• 라벨 클러스터링과 미세조정을 활용하여 X-BERT는 모델 크기가 출력 공간에 선형적으로 증가하는 문제를 극복하고 BERT를 극단적 라벨 설정에 성공적으로 스케일링했다.