[논문 리뷰] Making Classifier Chains Resilient to Class Imbalance

Bin Liu, Grigorios Tsoumakas|arXiv (Cornell University)|2018. 07. 30.

Text and Document Classification Technologies참고 문헌 26인용 수 11

한 줄 요약

이 논문은 다중 레이블 학습에서 클래스 불균형에 대한 강건성을 향상시키기 위해 랜덤 언더샘플링과 적응형 체인 구축을 통합한 앙상블 오브 클래시파이어 체인(ECC) 알고리즘의 확장인 ECCRU, ECCRU2, ECCRU3을 제안한다. 이 방법들은 다양한 평가 지표에서 성능을 향상시키며, 특히 극도로 불균형한 데이터셋에서 뛰어난 성능을 보이며, 고불균형 비율에서 ECCRU3가 대부분의 평가 기준에서 다른 방법들을 앞서기보다는 성능이 뛰어나다.

ABSTRACT

Class imbalance is an intrinsic characteristic of multi-label data. Most of the labels in multi-label data sets are associated with a small number of training examples, much smaller compared to the size of the data set. Class imbalance poses a key challenge that plagues most multi-label learning methods. Ensemble of Classifier Chains (ECC), one of the most prominent multi-label learning methods, is no exception to this rule, as each of the binary models it builds is trained from all positive and negative examples of a label. To make ECC resilient to class imbalance, we first couple it with random undersampling. We then present two extensions of this basic approach, where we build a varying number of binary models per label and construct chains of different sizes, in order to improve the exploitation of majority examples with approximately the same computational budget. Experimental results on 16 multi-label datasets demonstrate the effectiveness of the proposed approaches in a variety of evaluation metrics.

연구 동기 및 목표

• 대부분의 레이블에서 음성 예제보다 양성 예제가 훨씬 적은 다중 레이블 학습에서의 클래스 불균형 문제를 해결한다.
• 모든 레이블에 대해 양성 및 음성 예제를 모두 사용하기 때문에 클래스 불균형에 민감한 최신 기술인 앙상블 오브 클래시파이어 체인(ECC) 알고리즘의 성능을 향상시킨다.
• 고정된 계산 예산 내에서 레이블당 체인의 수와 크기를 변화시켜 다수 클래스 예제를 더 효과적으로 활용하는 방법을 개발한다.
• 불균형 비율이 모델 성능에 미치는 영향을 조사하고, 다양한 불균형 수준에서 최적의 체인 구축 전략을 규명한다.

제안 방법

• ECCRU를 도입하여 ECC의 각 이진 분류기에 대해 랜덤 언더샘플링을 적용하여 각 레이블의 학습 데이터를 균형 잡히게 한다.
• ECCRU2를 제안하여 불균형 비율에 따라 레이블당 다른 수의 체인을 구성함으로써 고불균형 레이블에 더 많은 집중을 가능하게 한다.
• ECCRU3를 설계하여 고불균형 레이블에 대해서는 짧은 체인, 덜 불균형한 레이블에 대해서는 긴 체인을 사용함으로써 계산 예산을 최적화한다.
• 모든 체인에 걸쳐 투표 전략을 사용하여 예측을 집계하며, 각 레이블의 최종 점수는 양성으로 예측한 체인의 비율로 결정된다.
• 실증적 성능 추세를 바탕으로, 저불균형 비율에서는 ECCRU를, 고불균형 비율에서는 ECCRU3를 선택하는 메타 전략을 적용한다.
• 16개의 다중 레이블 데이터셋을 대상으로 F1-측정, G-mean, 균형 정확도, AUC-ROC, AUC-PR의 다섯 가지 표준 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 랜덤 언더샘플링은 불균형한 다중 레이블 데이터셋에서 ECC의 성능을 어떻게 향상시키는가?
• RQ2 레이블당 체인의 수와 크기를 변화시켜 계산 비용을 증가시키지 않고도 다수 클래스 예제를 더 효과적으로 활용할 수 있는가?
• RQ3 레이블의 불균형 비율이 다중 레이블 학습에서 최적의 체인 구축 전략에 미치는 영향은 무엇인가?
• RQ4 고수준의 클래스 불균형에서 ECCRU3는 ECCRU2와 ECC를 능가하는가?
• RQ5 불균형 비율에 따라 ECCRU와 ECCRU3 중에서 선택하는 메타 접근 방식이 더 나은 종합 성능을 낼 수 있는가?

주요 결과

• ECCRU3는 다섯 가지 평가 지표에서 전반적인 최고 성능을 기록하며, p-값 < 0.05인 대부분의 비교에서 ECC 및 기타 기준 모델을 크게 앞서며 성능이 뛰어나다.
• 불균형 비율 ≥15인 경우, F1, G-mean, 균형 정확도, AUC-ROC, AUC-PR에서 제안된 방법들이 랭킹을 지배하며, 특히 ImR ≥ 100일 때 두드러진 성능 향상을 보인다.
• ECCRU3는 균형 정확도를 제외한 모든 지표에서 ECCRU2를 일관되게 능가하며, 특히 고불균형 환경에서 뛰어난 성능을 보인다.
• ImR < 50일 경우, ECCRU는 ECCRU2 및 ECCRU3보다 더 나은 성능을 보이며, 이는 중간 수준의 불균형에서 전체 체인 모델링이 더 유리함을 시사한다.
• 분석 결과, 고 ImR에서는 레이블 간 의존성을 모델링하는 것보다 짧은 체인을 통해 더 많은 다수 클래스 예제를 활용하는 것이 더 효과적임을 확인하였으며, 저 ImR에서는 전체 체인 모델링이 더 유용하다는 결론을 내릴 수 있다.
• 저 ImR에서는 ECCRU, 고 ImR에서는 ECCRU3를 선택하는 메타 전략이 관찰된 성능 상충 관계를 바탕으로 더 나은 결과를 낼 수 있을 것으로 가설화된다.