[논문 리뷰] Taming Pretrained Transformers for Extreme Multi-label Text Classification

Wei-Cheng Chang, Hsiang‐Fu Yu외 3명|arXiv (Cornell University)|2019. 05. 07.

Text and Document Classification Technologies참고 문헌 49인용 수 14

한 줄 요약

이 논문은 극단적 다중라벨 텍스트 분류(XMC)에서 깊이 있는 사전학습된 트랜스포머 모델을 스케일러블하게 미세조정하기 위한 X-Transformer를 제안한다. 이는 큰 출력 공간과 라벨 희소성의 과제를 해결하기 위해 의미적 라벨 클러스터링, 티처 포싱 음성, 앙상블 랭킹을 통해 이루어지며, 4개의 벤치마크에서 최고 성능을 기록하고, 실제 아마존 제품2쿼리 데이터셋에서 Parabel 대비 10.7% 상대적 향상률을 기록하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

We consider the extreme multi-label text classification (XMC) problem: given an input text, return the most relevant labels from a large label collection. For example, the input text could be a product description on Amazon.com and the labels could be product categories. XMC is an important yet challenging problem in the NLP community. Recently, deep pretrained transformer models have achieved state-of-the-art performance on many NLP tasks including sentence classification, albeit with small label sets. However, naively applying deep transformer models to the XMC problem leads to sub-optimal performance due to the large output space and the label sparsity issue. In this paper, we propose X-Transformer, the first scalable approach to fine-tuning deep transformer models for the XMC problem. The proposed method achieves new state-of-the-art results on four XMC benchmark datasets. In particular, on a Wiki dataset with around 0.5 million labels, the prec@1 of X-Transformer is 77.28%, a substantial improvement over state-of-the-art XMC approaches Parabel (linear) and AttentionXML (neural), which achieve 68.70% and 76.95% precision@1, respectively. We further apply X-Transformer to a product2query dataset from Amazon and gained 10.7% relative improvement on prec@1 over Parabel.

연구 동기 및 목표

• 출력 공간이 막대하고 라벨이 매우 희소한 극단적 다중라벨 텍스트 분류(XMC)에서 깊이 있는 사전학습된 트랜스포머 모델을 효과적으로 미세조정하는 데 목적을 두며.
• 수백만 개의 라벨을 가진 XMC에서 큰 분류기 레이어로 인한 GPU 메모리 오버플로우와 같은 계산적 병목 현상을 해결하기 위해.
• 의미적 표현을 사용한 라벨 클러스터링을 통해 장꼬리 라벨 분포에서 발생하는 라벨 희소성 문제를 완화하기 위해.
• 학습 중에 이전 모델 예측에서 유도된 하드 음성을 포함시켜 모델 일반화 능력을 향상시키기 위해.
• 벤치마크 XMC 데이터셋과 실세계 산업 응용에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• X-Transformer는 두 단계의 훈련 파이프라인을 도입한다: 먼저, 의미적 표현(예: 라벨 텍스트 임베딩 또는 TF-IDF)을 사용해 라벨을 클러스터링하여 효과적인 라벨 공간을 축소한다.
• 모델 자체의 예측에서 유도된 하드 음성을 사용하는 Teacher Forcing Negatives(TFN) 전략을 적용한 대비 학습 기반 전략을 사용하여 랭킹 성능을 향상시킨다.
• 클러스터링된 라벨 표현과 함께 공동으로 훈련되는 다중헤드 어텐션 기반 랭커를 사용하여 입력 텍스트에 대한 관련 라벨을 예측한다.
• 다양한 트랜스포머 아키텍처(예: BERT, RoBERTa, XLNet)와 라벨 표현을 사용한 여러 모델의 예측을 조합하는 앙상블 랭킹을 적용한다.
• 모든 방법 간의 공정한 비교를 보장하기 위해 상대적 성능 향상을 Parabel 기준으로 계산하는 校정된 평가 프로토콜을 사용한다.
• 대규모 XMC에서 전체 분류기 훈련이 계산적으로 불가능한 문제를 해결하기 위해 표준 분류기 헤드를 클러스터 기반의 희소 예측 메커니즘으로 대체한다.

실험 결과

연구 질문

• RQ1 거대한 출력 공간과 라벨 희소성에도 불구하고 깊이 있는 사전학습된 트랜스포머 모델이 극단적 다중라벨 텍스트 분류(XMC)에 효과적으로 미세조정될 수 있는가?
• RQ2 성능을 저하시키지 않고 XMC에서 큰 트랜스포머 모델을 훈련시키는 데 드는 계산 비용을 어떻게 줄일 수 있는가?
• RQ3 다양한 라벨 표현(예: 텍스트 임베딩, TF-IDF)이 라벨 클러스터링 품질과 최종 성능에 어떤 영향을 미치는가?
• RQ4 모델이 생성한 하드 음성을 포함시키면 XMC의 랭킹 헤드의 강건성과 정확도가 향상되는가?
• RQ5 다양한 모델과 표현 간의 앙상블 학습은 극단적 다중라벨 분류에서 일관된 성능 향상을 이끌어내는가?

주요 결과

• Wiki-500K 데이터셋(약 500,000개의 라벨)에서 X-Transformer는 정밀도@1이 77.28%를 기록하여 이전 최고 성능 모델인 Parabel(68.70%)과 AttentionXML(76.95%)를 크게 앞서며, 뚜렷한 성능 향상을 보였다.
• 실세계 아마존 제품2쿼리 데이터셋에서 X-Transformer는 Parabel 대비 정밀도@1에서 10.7% 상대적 향상률을 기록하여 강력한 산업 적용 가능성을 입증했다.
• 의미적 라벨 클러스터링을 통해 데이터 희소성 문제를 완화시켜, 100개 이상의 훈련 인스턴스를 가진 클러스터 비율을 99.4%에서 99.4%로 유지함으로써 장꼬리 라벨 분포의 영향을 효과적으로 완화했다.
• 다양한 트랜스포머 모델과 라벨 표현의 예측을 조합한 앙상블 랭킹이 최고의 성능을 기록했으며, Wiki-500K에서 X-Transformer는 Parabel 대비 정밀도@1에서 +12.49% 상대적 향상률을 기록했다.
• 전체 분류기 대신 클러스터 기반의 희소 예측 메커니즘을 도입함으로써, 100만 개의 라벨 조차도 GPU 메모리 오버플로우 문제 없이 계산적으로 실행 가능함을 입증했다.
• 절단 실험 결과, Teacher Forcing Negatives(TFN)와 앙상블 학습이 성능 향상에 크게 기여하는 것으로 확인되었으며, 노출 편향으로 인해 TFN만으로는 충분하지 않았다.