[논문 리뷰] Synthetic Oversampling of Multi-Label Data based on Local Label Distribution

Bin Liu, Grigorios Tsoumakas|arXiv (Cornell University)|2019. 05. 02.

Text and Document Classification Technologies참고 문헌 31인용 수 7

한 줄 요약

이 논문은 다중 레이블 데이터를 위한 새로운 합성 오버샘플링 방법인 MLSOL을 제안한다. 이 방법은 소수의 예제 주변의 국소 레이블 분포에 초점을 맞춰 다양하고 잘 레이블링된 인스턴스를 생성한다. 국소 레이블 특성과 앙상블 프레임워크를 통합함으로써, 여러 평가 지표와 기본 분류기에서 성능을 크게 향상시키며, 특히 앙상블 환경에서 MLSMOTE 및 RHwRSMT와 같은 최신 기법들을 능가한다.

ABSTRACT

Class-imbalance is an inherent characteristic of multi-label data which affects the prediction accuracy of most multi-label learning methods. One efficient strategy to deal with this problem is to employ resampling techniques before training the classifier. Existing multilabel sampling methods alleviate the (global) imbalance of multi-label datasets. However, performance degradation is mainly due to rare subconcepts and overlapping of classes that could be analysed by looking at the local characteristics of the minority examples, rather than the imbalance of the whole dataset. We propose a new method for synthetic oversampling of multi-label data that focuses on local label distribution to generate more diverse and better labeled instances. Experimental results on 13 multi-label datasets demonstrate the effectiveness of the proposed approach in a variety of evaluation measures, particularly in the case of an ensemble of classifiers trained on repeated samples of the original data.

연구 동기 및 목표

• 희귀 서브개념과 레이블 겹침으로 인해 발생하는 다중 레이블 데이터셋의 클래스 불균형 문제를 해결하기 위해.
• 전반적인 레이블 빈도가 아닌 국소 레이블 분포에 초점을 맞춰 오버샘플링 과정에서 생성되는 합성 인스턴스의 품질과 다양성을 향상시키기 위해.
• 다중 레이블 학습 모델의 강건성과 정확도를 향상시키기 위한 유연하고 앙상블 호환 가능한 리샘플링 방법을 개발하기 위해.
• 국소 레이블 분포 분석이 전반적 또는 레이블별 접근 방식보다 더 나은 합성 데이터 생성을 이끌 수 있음을 입증하기 위해.
• 다양한 데이터셋, 평가 지표, 기본 다중 레이블 학습 알고리즘에서 MLSOL의 효과성을 검증하기 위해.

제안 방법

• MLSOL은 국소 레이블 분포에 기반해 시드 인스턴스를 선택하며, 복잡한 레이블 서브개념과 겹침을 가진 소수의 예제를 우선시한다.
• 이 방법은 이웃한 인스턴스의 특징과 레이블을 조합하여 합성 인스턴스를 생성하며, 정보가 많은 국소 패턴에 초점을 맞춘 가중치 샘플링 전략을 사용한다.
• 메서드는 국소 이웃에서 나타나는 레이블을 선호하는 레이블 선택 메커니즘을 활용하여, 합성 인스턴스가 의미적으로 일관되고 다양한 결과를 도출한다.
• MLSOL은 시드 선택과 합성 인스턴스 생성 과정에서 랜덤화를 적용하는 단순한 앙상블 프레임워크와 통합되어 모델 다양성을 증가시킨다.
• 앙상블 버전인 EMLSOL은 반복적인 샘플링을 기반으로 훈련된 여러 모델을 앙상블하여 분산을 줄이고 일반화 성능을 향상시킨다.
• 이 방법은 어떤 다중 레이블 학습 알고리즘과도 호환되도록 설계되어 기존 파ipelines에 즉시 통합할 수 있다.

실험 결과

연구 질문

• RQ1 전반적 또는 레이블별 불균형이 아닌 국소 레이블 분포에 초점을 맞추는 것이 다중 레이블 데이터의 합성 오버샘플링에 더 나은 성능을 이끌 수 있는가?
• RQ2 MLSMOTE 및 RHwRSMT와 같은 기존 방법들과 비교해 MLSOL이 더 다양하고 더 잘 레이블링된 합성 인스턴스를 생성할 수 있는가?
• RQ3 MLSOL의 앙상블 버전(EMLSOL)이 여러 평가 지표에서 단일 모델 버전과 최신 기준 기법들을 뛰어넘는가?
• RQ4 클래스 불균형 인식 평가 측정 기준 하에서, 다양한 기본 다중 레이블 학습 방법과 조합했을 때 MLSOL의 성능은 어떠한가?
• RQ5 국소 레이블 분포 분석이 희귀 서브개념과 레이블 겹침으로 인한 성능 저하를 얼마나 효과적으로 완화하는가?

주요 결과

• EMLSOL은 6개의 기본 다중 레이블 방법과 3개의 평가 지표 조합 총 18개에서 평균 순위가 가장 높았으며, 유의미한 손실 없이 일관된 승리를 기록했다.
• MLSOL은 13개의 벤치마크 데이터셋 전부에서 MLSMOTE 및 RHwRSMT를 능가했으며, 특히 클래스 불균형에 민감한 AUC-ROC 및 AUCPR에서 뛰어난 성능을 보였다.
• MLSOL의 앙상블 버전인 EMLSOL은 AUC-ROC에서 36개의 비교 전부에서 승리했고, AUCPR에서도 36승을 거두어 우수하고 일관된 성능을 입증했다.
• MLSOL과 MLSMOTE는 단일 모델 성능에서 유사했지만, EMLSOL은 더 높은 시드 선택 및 생성 과정의 내재적 랜덤성 덕분에 앙상블에서 더 큰 이점을 얻었다.
• RHwRSMT는 REMEDIAL에 의해 유도된 혼란스러운 인스턴스로 인해 기본값(리샘플링 없음)보다 성능이 떨어졌으며, 이는 리샘플링에서 복잡한 분해 기법의 위험성을 보여준다.
• 결과는 국소 레이블 분포가 특히 복잡하고 겹치는 레이블 공간에서 전반적 또는 레이블별 전략보다 합성 오버샘플링의 기초로 더 효과적임을 확인한다.