[논문 리뷰] Label Confusion Learning to Enhance Text Classification Models

Biyang Guo, Songqiao Han외 3명|arXiv (Cornell University)|2020. 12. 09.

Text and Document Classification Technologies인용 수 4

한 줄 요약

이 논문은 텍스트 분류 모델을 위한 새로운 개선 기법인 레이블 혼동 학습(LCM)을 제안한다. 이 기법은 일항 레이블 벡터를 대체하여, 인스턴스와 레이블 간의 의미적 유사성 기반으로 학습된 레이블 혼동 분포(LCD)를 사용한다. 레이블 간의 겹침과 종속성을 모델링함으로써, 특히 혼동되거나 노이즈가 많은 데이터셋에서 성능을 향상시키며, 레이블 스무딩 및 LSTM, CNN, BERT와 같은 부스팅 모델을 포함한 다섯 개의 벤치마크 데이터셋(영어 및 중국어)에서 모두 뛰어난 성능을 기록한다.

ABSTRACT

Representing a true label as a one-hot vector is a common practice in training text classification models. However, the one-hot representation may not adequately reflect the relation between the instances and labels, as labels are often not completely independent and instances may relate to multiple labels in practice. The inadequate one-hot representations tend to train the model to be over-confident, which may result in arbitrary prediction and model overfitting, especially for confused datasets (datasets with very similar labels) or noisy datasets (datasets with labeling errors). While training models with label smoothing (LS) can ease this problem in some degree, it still fails to capture the realistic relation among labels. In this paper, we propose a novel Label Confusion Model (LCM) as an enhancement component to current popular text classification models. LCM can learn label confusion to capture semantic overlap among labels by calculating the similarity between instances and labels during training and generate a better label distribution to replace the original one-hot label vector, thus improving the final classification performance. Extensive experiments on five text classification benchmark datasets reveal the effectiveness of LCM for several widely used deep learning classification models. Further experiments also verify that LCM is especially helpful for confused or noisy datasets and superior to the label smoothing method.

연구 동기 및 목표

• 일항 레이블 표현 방식의 한계를 해결하기 위해, 레이블 간 독립성을 가정하고 유사한 레이블 간 의미적 겹침을 반영하지 못하는 텍스트 분류에서의 문제를 해결한다.
• 인간 레이블링 데이터셋에서 노이즈 또는 모호한 레이블로 인해 발생하는 모델의 과도한 확신과 과적합을 완화한다.
• 진정한 레이블 종속성을 반영하는 더 현실적인 레이블 분포를 학습함으로써 텍스트 분류의 일반화 능력을 향상시킨다.
• 기존 딥러닝 모델의 아키텍처를 수정하지 않으며 추론 비용을 증가시키지 않는 플러그인 컴포넌트(LCM)를 개발한다.
• 다양한 데이터셋, 특히 높은 혼동도 또는 레이블 노이즈가 있는 데이터셋에서 LCM의 효과를 입증하고, 이미지 분류 작업으로의 적용 가능성을 넓힌다.

제안 방법

• 공유된 임bedding 레이어를 사용해 레이블 표현을 학습하고, 입력 텍스트 표현과 레이블 임베딩 간의 의미적 유사도를 계산한다.
• 모든 레이블에 대한 유사도 점수를 집계하여 레이블 혼동 분포(LCD)를 구성함으로써, 각 레이블이 입력 인스턴스와 어떻게 연관되어 있는지를 종속성으로 포착한다.
• 기존의 일항 레이블 벡터와 LCD를 가중치 α를 통해 조합한 후, 소프트맥스를 적용하여 시뮬레이션된 레이블 분포(SLD)로 정규화한다.
• 학습 중에 교차 엔트로피 손실의 타겟으로 SLD를 사용하여, 표준 일항 벡터를 대체함으로써 더 정보적인 지도 학습을 제공한다.
• LCM을 학습 전용 경량 가중치로 통합함으로써, 추론 또는 모델 아키텍처에 영향을 주지 않고 플러그 앤 플레이 방식의 성능 향상을 가능하게 한다.
• 특히 후반기 학습 단계에서 모델이 열악해지는 것을 방지하기 위해 LCM에 대해 조기 정지 기법을 적용한다.

실험 결과

연구 질문

• RQ1 학습된 의미적 유사성 기반의 레이블 혼동 모델링이 표준 일항 레이블링 방식을 초월해 텍스트 분류 성능을 향상시킬 수 있는가?
• RQ2 높은 레이블 유사도(즉, 혼동되는 데이터셋)에서 LCM은 레이블 스무딩 및 표준 학습 방식과 비교해 어떻게 성능을 내는가?
• RQ3 LCM은 레이블링 오류가 있는 노이즈가 많은 데이터셋에서 과적합을 효과적으로 줄이고 강건성을 향상시키는가?
• RQ4 LCM은 텍스트 분류를 넘어 이미지 분류와 같은 다른 작업으로 일반화될 수 있는가?
• RQ5 최적의 LCM 성능를 확보하기 위해 어떤 초모수(예: α)와 학습 전략(예: 조기 정지)이 다양한 데이터셋에서 유의미한가?

주요 결과

• LCM은 LSTM, CNN, BERT 모델을 포함한 다섯 개의 벤치마크 텍스트 분류 데이터셋(예: IMDB, 20NG, 중국어 데이터셋)에서 분류 정확도를 크게 향상시켰다.
• 매우 혼동되는 데이터셋(예: 8NG-H 및 4NG-H)에서는 상당한 성능 향상(최대 3.5% 향상)을 기록했으며, 더 쉽게 분류 가능한 데이터셋(예: 4NG-E)에서는 최소 또는 부정적인 성능 향상만을 보였다.
• 레이블 스무딩(LS)보다 일관되게 뛰어난 성능을 보였으며, 특히 노이즈가 많은 환경에서 두각을 나타냈다. 20% 노이즈가 있는 20NG에서 LCM은 LS 대비 정확도를 2% 이상 향상시켰다.
• 이미지 분류 작업에서는 LCM이 MNIST에서 기준 CNN의 테스트 정확도 98.22%를 98.41%로, Fashion MNIST에서는 89.29%에서 90.28%로 향상시켜, 이론적 일반화 가능성과 다중 도메인 적용 가능성을 입증했다.
• LCM 학습에 조기 정지를 적용함으로써 과적합을 방지하고 성능을 추가로 향상시켰으며, 약 10 에포크 후 LCM을 비활성화할 경우 최적의 성능을 기록했다.
• 혼동되거나 노이즈가 많은 데이터셋에서는 일반적으로 작은 α 값(예: 0.5)이 더 좋은 성능을 내었으며, 이는 레이블 유사도와 오류 비율에 민감함을 시사한다.