[논문 리뷰] Handling Inter-class and Intra-class Imbalance in Class-imbalanced Learning

Zhining Liu, Pengfei Wei외 6명|arXiv (Cornell University)|2021. 11. 24.

Imbalanced Data Classification Techniques참고 문헌 50인용 수 9

한 줄 요약

이 논문은 불균형 학습에서 클래스 간 및 클래스 내 불균형을 동시에 다루는 통합 프레임워크인 DuBE(Duple-Balanced Ensemble)를 제안한다. 오차 기반의 클래스 내 균형 조정을 통해 샘플의 어려움을 명시적으로 모델링하고, 이를 클래스 간 재샘플링/재가중과 통합함으로써 다양한 데이터 복잡성에서 모델의 강건성과 성능을 향상시킨다. 기존 방법들보다 벤치마크 데이터셋에서 뚜렷한 개선을 보이며 소수 클래스의 F1 스코어를 크게 향상시킨다.

ABSTRACT

Class-imbalance is a common problem in machine learning practice. Typical Imbalanced Learning (IL) methods balance the data via intuitive class-wise resampling or reweighting. However, previous studies suggest that beyond class-imbalance, intrinsic data difficulty factors like overlapping, noise, and small disjuncts also play critical roles. To handle them, many solutions have been proposed (e.g., noise removal, borderline sampling, hard example mining) but are still confined to a specific factor and cannot generalize to broader scenarios, which raises an interesting question: how to handle both class-agnostic difficulties and the class-imbalance in a unified way? To answer this, we consider both class-imbalance and its orthogonal: intra-class imbalance, i.e., the imbalanced distribution over easy and hard samples. Such distribution naturally reflects the complex influence of class-agnostic intrinsic data difficulties thus providing a new unified view for identifying and handling these factors during learning. From this perspective, we discuss the pros and cons of existing IL solutions and further propose new balancing techniques for more robust and efficient IL. Finally, we wrap up all solutions into a generic ensemble IL framework, namely DuBE (Duple-Balanced Ensemble). It features explicit and efficient inter-\&intra-class balancing as well as easy extension with standardized APIs. Extensive experiments validate the effectiveness of DuBE. Code, examples, and documentation are available at https://github.com/AnonAuthorAI/duplebalance and https://duplebalance.readthedocs.io.

연구 동기 및 목표

• 기존 불균형 학습 방법들이 클래스 간 불균형에만 초점을 맞추고 클래스 내 어려움의 변동성을 忽略하는 한계를 해결하기 위해.
• 노이즈, 오버랩, 소규모 분리된 영역과 같은 독립적인 데이터 복잡성 요인들을 클래스 내 불균형 개념 아래 통합적으로 식별하고 통합하기 위해.
• 클래스 간 및 클래스 내 불균형을 명시적으로 균형 조정할 수 있는 일반적이고 확장 가능한 앙상블 프레임워크를 개발하여 강건성과 일반화 능력을 향상시키기 위해.
• 기존의 클래스 간 및 클래스 내 균형 조정 기법들의 시스템적 평가와 실제 시나리오에서의 상호 교환 가능성 및 상충 관계를 제공하기 위해.

제안 방법

• 클래스 내 불균형을 데이터 복잡성의 고차원 지표로 도입하여, 각 클래스 내에서 쉬운 샘플과 어려운 샘플의 분포를 반영한다.
• 이중 균형 메커니즘을 제안: 명시적인 클래스 간 재샘플링/재가중과 모델 예측 불확실성 기반의 오차 기반 클래스 내 어려운 샘플 탐색.
• 다양한 기본 분류기들을 적응형 샘플링 및 손실 재가중과 함께 통합하는 반복적 앙상블 프레임워크인 DuBE를 설계한다.
• 다양한 균형 조정 전략을 쉽게 통합할 수 있도록 표준화된 API를 구현하여 클래스 간 및 클래스 내 구성 요소의 플러그인 방식의 확장 가능성을 보장한다.
• 예측 오차를 샘플의 어려움의 대체 지표로 사용하여, 훈련 중에 동적으로 어려운 샘플을 식별하고 강조한다.
• 오차 기반 재가중을 적용한 반복적 훈련을 통해 어려운 샘플에 대한 모델의 집중을 점진적으로 향상시키면서도 클래스 수준의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 노이즈, 오버랩, 소규모 분리된 영역과 같은 내재된 데이터 어려움 요인들이 클래스 기수 불균형을 넘어서 모델 편향에 어떤 기여를 하는가?
• RQ2 클래스 내 불균형—즉, 한 클래스 내에서 쉬운 샘플과 어려운 샘플의 비균형 분포—이 노이즈, 오버랩, 소규모 분리된 영역 등 다양한 데이터 복잡성 요인들을 통합적으로 나타내는 지표로 기능할 수 있는가?
• RQ3 기존의 클래스 간 및 클래스 내 균형 조정 방법들이 별개로 적용되거나 조합될 경우, 각각의 한계는 무엇인가?
• RQ4 클래스 간 및 클래스 내 불균형을 명시적으로 균형 조정하는 통합 프레임워크가 더 나은 일반화와 강건성을 달성할 수 있는가?

주요 결과

• DuBE는 여러 불균형 벤치마크 데이터셋에서 최신 기준(SOTA) 성능을 달성하며, 기준 방법 대비 소수 클래스의 F1 스코어에서 뚜렷한 향상을 보였다.
• 예측 오차 분포를 통해 측정된 클래스 내 불균형은 노이즈, 오버랩, 소규모 분리된 영역 등의 데이터 복잡성 요인들의 종합적 영향을 효과적으로 포착한다.
• 단순한 어려운 샘플 탐색만으로는 노이즈가 많은 데이터셋에서 성능이 악화됨을 확인하여, 적응형이고 오차 인식 기반의 균형 조정 전략의 필요성을 입증한다.
• 표준화된 API를 통해 다양한 균형 조정 구성 요소를 쉽게 확장하고 플러그인할 수 있어 재현성과 사용성 향상이 가능하다.
• 실험 결과에 따르면, 클래스 간 및 클래스 내 균형 조정을 동시에 적용할 경우, 특히 복잡한 데이터 분포를 가진 실제 시나리오에서 더 안정적이고 정확한 모델을 얻을 수 있었다.