[논문 리뷰] Towards Label Imbalance in Multi-label Classification with Many Labels

Li Li, Houfeng Wang|arXiv (Cornell University)|2016. 04. 05.

Text and Document Classification Technologies참고 문헌 15인용 수 11

한 줄 요약

이 논문은 많은 레이블을 가진 다중 레이블 분류에서 레이블 불균형 문제를 해결하기 위해 샘플링 전략을 통합한 새로운 표현 기반 다중 레이블 학습 방법인 RMLS를 제안한다. 훈련 중에 관련 레이블과 비관련 레이블을 전략적으로 샘플링함으로써 RMLS는 빈도가 높은 레이블의 지배를 줄이고 불균형 데이터셋에서의 성능을 향상시킨다. 실제 벤치마크에서 최대 50,000개의 레이블을 가진 환경에서 F1 점수와 해밍 손실 측면에서 기존 방법들을 능가한다.

ABSTRACT

In multi-label classification, an instance may be associated with a set of labels simultaneously. Recently, the research on multi-label classification has largely shifted its focus to the other end of the spectrum where the number of labels is assumed to be extremely large. The existing works focus on how to design scalable algorithms that offer fast training procedures and have a small memory footprint. However they ignore and even compound another challenge - the label imbalance problem. To address this drawback, we propose a novel Representation-based Multi-label Learning with Sampling (RMLS) approach. To the best of our knowledge, we are the first to tackle the imbalance problem in multi-label classification with many labels. Our experimentations with real-world datasets demonstrate the effectiveness of the proposed approach.

연구 동기 및 목표

• 매우 많은 레이블을 가진 다중 레이블 분류에서 간과당하는 레이블 불균형 문제를 해결한다. 이 경우 희귀 레이블이 부족하게 나타난다.
• LSDR 및 RBL와 같은 기존의 확장 가능한 방법들이 희귀 레이블을 종종 기각하거나 부족하게 표현하는 데 기인한 레이블 불균형의 누적 효과를 극복한다.
• 레이블 수가 수천 개에 이르는 상황에서도 높은 성능을 유지할 수 있는 확장 가능하고 효과적인 방법을 개발한다.
• 모델 훈련 중 관련 레이블과 비관련 레이블의 표현 균형을 제어하는 샘플링 전략을 도입한다.
• 극도로 높은 레이블 카디널리티와 불균형을 보이는 실제 데이터셋에서 제안된 방법의 효과성을 입증한다.

제안 방법

• 개체와 레이블을 공유된 임베딩 공간에 함께 통합하는 표현 기반 학습 프레임워크를 제안한다.
• 하이퍼파라미터 α를 통해 훈련 중 양성(관련) 레이블과 부정성(비관련) 레이블 간 비율을 제어하는 샘플링 전략을 도입한다.
• 대비 손실 함수를 사용하여 모델을 최적화하며, 양성 인스턴스-레이블 쌍 간의 가까운 거리와 부정성 쌍 간의 분리를 유도한다.
• 각 배치가 샘플링 계수 α에 기반해 균형 잡힌 관련 및 비관련 레이블 조합을 포함하는 미니배치를 사용해 모델을 훈련한다.
• 인스턴스 임베딩과 레이블 임베딩 간의 유사도 점수를 계산하여 예측을 수행함으로써 훈련된 모델을 적용한다.
• 유사도 점수가 높은 상위-k개의 레이블을 선택하여 예측을 디코딩함으로써, 레이블 수가 매우 많을 경우에도 확장 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 레이블 수가 매우 많을 경우, 기존의 다중 레이블 학습 방법에서 레이블 불균형이 성능에 어떤 영향을 미치는가?
• RQ2 샘플링 전략이 많은 레이블을 가진 다중 레이블 분류에서 레이블 불균형의 부정적 영향을 효과적으로 완화할 수 있는가?
• RQ3 제안된 RMLS 방법이 불균형적이며 대규모 다중 레이블 데이터셋에서 최신 기술인 RBL 및 LSDR 방법보다 더 높은 성능을 달성하는가?
• RQ4 희귀 레이블에 대한 과소적합과 지배 레이블에 대한 과적합 사이의 트레이드오프를 균형 잡는 데 최적의 샘플링 비율 α는 무엇인가?
• RQ5 레이블 수가 최대 50,000개에 이르는 데이터셋에서 RMLS의 훈련 시간과 메모리 사용량은 어떻게 확장되는가?

주요 결과

• RMLS는 $\text{Enron}$, $\text{Delicious}$, $\text{Eurlex}\_\text{desc}$, $\text{Wiki}$의 네 가지 벤치마크 데이터셋에서 모두 최고의 F1 점수를 기록했으며, 다음으로 좋은 방법보다 최대 0.05의 개선을 이뤘다.
• $\text{Eurlex}\_\text{desc}$ 데이터셋(3,993개 레이블)에서 RMLS는 $k=50$일 때 F1 점수 $0.338 \pm 0.008$을 달성했으며, PLST($0.321 \pm 0.007$)와 ML_CSSP($0.338 \pm 0.008$)를 뛰어넘었다.
• RMLS의 해밍 손실는 다른 방법보다 일관되게 낮았으며, $k=50$일 때 $\text{Eurlex}\_\text{desc}}$에서 $0.096 \pm 0.007$에 도달하여 더 높은 예측 정확도를 나타냈다.
• RMLS의 훈련 시간은 LEML과 WSABIE보다 뚜렷하게 낮았으며, 특히 50,000개의 레이블을 가진 $\text{Wiki}$ 데이터셋에서 RMLS는 $15,173.62 \pm 74.74$ 초를 소요한 반면, LEML은 $57,849.32 \pm 523.17$ 초를 소요했다.
• 최적의 샘플링 비율 α는 약 5~7로, 이 범위에서 F1 점수와 정확도가 최고에 이르렀고, 이후 비관련 레이블의 과다 샘플링으로 인해 감소하기 시작했다.
• RMLS는 희귀 레이블 성능 향상으로 인해 레이블 불균형 문제를 효과적으로 완화함을 입증했으며, $\text{Eurlex}\_\text{desc}$에서 평균 불균형 비율이 1,378.58에 이르는 상황에서도 여전히 뛰어난 성능을 보였다.