[논문 리뷰] Rethinking Class Imbalance in Machine Learning

Ou Wu|arXiv (Cornell University)|2023. 05. 06.

Imbalanced Data Classification Techniques인용 수 4

한 줄 요약

이 논문은 기존 비율 불균형 외에 변동성, 거리, 근접성, 품질 불균형이라는 네 가지 새로운 유형—즉, 분류 불균형의 새로운 분류 체계를 제안한다. 이를 통해 비율, 변동성, 거리 불균형을 동시에 해결하는 메타학습 기반 로짓 편향 손실인 MetaLDA를 도입하여 공정성과 일반화 능력을 크게 향상시켰으며, CIFAR100 및 CIFAR100-LT와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Imbalance learning is a subfield of machine learning that focuses on learning tasks in the presence of class imbalance. Nearly all existing studies refer to class imbalance as a proportion imbalance, where the proportion of training samples in each class is not balanced. The ignorance of the proportion imbalance will result in unfairness between/among classes and poor generalization capability. Previous literature has presented numerous methods for either theoretical/empirical analysis or new methods for imbalance learning. This study presents a new taxonomy of class imbalance in machine learning with a broader scope. Four other types of imbalance, namely, variance, distance, neighborhood, and quality imbalances between/among classes, which may exist in machine learning tasks, are summarized. Two different levels of imbalance including global and local are also presented. Theoretical analysis is used to illustrate the significant impact of the new imbalance types on learning fairness. Moreover, our taxonomy and theoretical conclusions are used to analyze the shortcomings of several classical methods. As an example, we propose a new logit perturbation-based imbalance learning loss when proportion, variance, and distance imbalances exist simultaneously. Several classical losses become the special case of our proposed method. Meta learning is utilized to infer the hyper-parameters related to the three types of imbalance. Experimental results on several benchmark corpora validate the effectiveness of the proposed method.

연구 동기 및 목표

• 비율 불균형을 넘어서 분류 불균형의 범위를 확장하기 위해 변동성, 거리, 근접성, 품질 불균형이라는 네 가지 새로운 유형의 분류 불균형을 식별하고 체계화하는 것.
• 비율 불균형이 없을 경우에도 변동성 및 거리 불균형이 모델의 공정성과 일반화 능력에 미치는 이론적 영향을 분석하는 것.
• 여러 가지 불균형 유형을 동시에 다룰 수 있는 통합 학습 방법을 개발하여 장시간 불균형 학습 환경에서의 공정성과 성능을 향상시키는 것.
• 기존의 고전적 방법들과 비교하여 광범위한 실험을 통해 제안된 방법의 효과성을 검증하는 것.

제안 방법

• 분류 불균형의 새로운 분류 체계를 제안하며, 이는 변동성 불균형(각 클래스 간 특징의 분산 차이), 거리 불균형(클래스 간 거리의 차이), 근접성 불균형(로컬 이웃 구조의 차이), 품질 불균형(샘플의 품질 또는 난이도의 차이)을 포함한다.
• 이중 수준의 시각을 도입: 전반적인 클래스 분포에 대한 글로벌 불균형과 클래스 내 또는 국소 영역 내의 로컬 불균형.
• 비율 기반 항목(log(π_y / π_c)), 변동성 조정 항목(△w_y^T Σ_y △w_y / ||△w_y||²), 거리 조정 항목(log(Δ̄ / Δ_yc))을 포함하는 메타학습 기반 로짓 편향 손실인 MetaLDA를 개발.
• 메타학습을 활용해 세 가지 불균형 유형에 대한 하이퍼파rameter를 자동으로 추론함으로써 학습 중에 적응형 최적화를 가능하게 한다.
• 이론적 분석을 통해 비율 불균형이 없더라도 변동성 및 거리 불균형 자체가 심각한 부정확성을 초래할 수 있음을 입증한다.
• CIFAR100 및 CIFAR100-LT에서 제안된 방법을 검증하여 손실의 각 구성 요소가 성능 향상에 기여하며, MetaLDA가 베이스라인 및 고전적 방법을 모두 능가함을 보였다.

Figure 1: The proposed new taxonomy for class imbalance. Existing studies merely deal with proportion imbalance.

실험 결과

연구 질문

• RQ1 비율 불균형이 균형을 이루고 있을 때도 변동성 및 거리 불균형이 독립적으로 공정성 저하와 낮은 일반화 능력을 초래할 수 있는가?
• RQ2 비율, 변동성, 거리 불균형 등 여러 가지 불균형 유형이 상호작용하며 모델 성능에 어떻게 영향을 미치는가?
• RQ3 비율, 변동성, 거리 불균형을 동시에 완화할 수 있는 통합된 손실 함수를 설계할 수 있는가?
• RQ4 여러 가지 불균형 유형이 동시에 발생할 경우 기존의 고전적 방법들이 왜 실패하는가, 그리고 그 이유는 무엇인가?
• RQ5 메타학습을 통해 데이터 기반으로 다양한 불균형 유형에 최적화된 하이퍼파rameter를 효과적으로 추론할 수 있는가?

주요 결과

• 이론적 분석을 통해 비율 불균형이 없더라도 변동성 및 거리 불균형이 비율 불균형과 동일 수준의 공정성 저하를 초래할 수 있음을 확인하였다.
• CIFAR100-LT (100:1)에서 MetaLDA는 Top-1 오차 51.55% ± 0.30%를 기록하여 베이스라인(61.23%)과 다른 아블레이션 버전을 모두 능가하였다.
• CIFAR100에서 MetaLDA는 Top-1 오차 16.49% ± 0.17%를 기록하여 베이스라인(18.53%)과 모든 아블레이션 구성 요소를 초월하였다.
• 아블레이션 연구 결과, MetaLDA의 각 항목(비율, 변동성, 거리)이 성능 향상에 독립적으로 기여하며, 전체 손실이 가장 우수한 성능을 내는 것으로 확인되었다.
• 변동성 항목을 분리한 NISDA(Normalized ISDA) 변형은 여섯 개의 데이터셋에서 표준 ISDA를 능가하여 변동성 불균형 보정의 중요성을 확인하였다.
• 편향 항목의 시각화 결과, 학습 에포크가 진행됨에 따라 변동성 및 거리 불균형이 크게 감소하는 것으로 나타나, 본 방법이 이 요소들을 효과적으로 균형 잡는 데 기여함을 확인하였다.

Figure 2: Illustrative examples for the four types of imbalance. In (a), the two classes have different proportions of samples; in (b), the two classes have different co-variance matrices; in (c), the middle class has the smallest average inter-class distance; in (d), the two classes have different