[논문 리뷰] Imbalanced Deep Learning by Minority Class Incremental Rectification

Qi Dong, Shaogang Gong외 1명|arXiv (Cornell University)|2018. 04. 28.

Imbalanced Data Classification Techniques참고 문헌 57인용 수 4

한 줄 요약

이 논문은 극도로 불균형한 클래스 분포를 가진 데이터에서 딥러닝을 위한 새로운 클래스 교정 손실(CRL)을 제안한다. 이는 소수 클래스에 대해 배치 단위로 점진적인 하드 샘플 마이닝을 통해 모델의 편향을 보정한다. CRL은 극도로 불균형한 X-Domain 데이터셋에서 성능을 5% 향상시키며, 최신 기술 대비 7배 이상 빠른 학습 속도를 기록하면서도 종단 간 학습에서 수렴 안정성을 유지한다.

ABSTRACT

Model learning from class imbalanced training data is a long-standing and significant challenge for machine learning. In particular, existing deep learning methods consider mostly either class balanced data or moderately imbalanced data in model training, and ignore the challenge of learning from significantly imbalanced training data. To address this problem, we formulate a class imbalanced deep learning model based on batch-wise incremental minority (sparsely sampled) class rectification by hard sample mining in majority (frequently sampled) classes during model training. This model is designed to minimise the dominant effect of majority classes by discovering sparsely sampled boundaries of minority classes in an iterative batch-wise learning process. To that end, we introduce a Class Rectification Loss (CRL) function that can be deployed readily in deep network architectures. Extensive experimental evaluations are conducted on three imbalanced person attribute benchmark datasets (CelebA, X-Domain, DeepFashion) and one balanced object category benchmark dataset (CIFAR-100). These experimental results demonstrate the performance advantages and model scalability of the proposed batch-wise incremental minority class rectification model over the existing state-of-the-art models for addressing the problem of imbalanced data learning.

연구 동기 및 목표

• 파wer-라우의 클래스 분포를 가진 소수 클래스가 극도로 불균형한 시각적 데이터셋(예: 인물 속성 인식)에서 딥 네트워크를 훈련하는 데 도전하는 것.
• 기존 방법들이 소수 클래스에서 일반화 능력이 떨어져 대규모이고 심각하게 불균형한 데이터에서 실패하는 문제를 해결하는 것.
• 스토케스틱 그래디언트 디센트 수렴 안정성을 유지하면서도, 주로 다수 클래스에 편향된 모델을 교정할 수 있는 확장 가능한 종단 간 딥러닝 프레임워크 개발.
• 미세한 외관 차이가 있고 극도로 불균형한 비율(예: 1:4,162)을 가진 다중 레이블, 세분화된 시각적 속성에서 효과적인 학습을 가능하게 하는 것.
• 데이터 재샘플링이나 복잡한 비용 감안 가중치를 요구하지 않고도, 훈련 중에 하드하고 희박하게 샘플링된 소수 클래스 경계를 동적으로 식별하고 교정하는 손실 함수 설계.

제안 방법

• 모든 훈련 배치에서 소수 클래스의 하드하고 희박하게 샘플링된 샘플에 집중함으로써 모델 학습을 정규화하는 클래스 교정 손실(CRL)을 제안한다.
• 배치 단위 점진적 교정을 적용: 각 미니배치에서 동적 하드 마이닝 전략을 사용해 소수 클래스의 하드 음성 샘플을 식별하고 우선순위를 정한다.
• 다중 클래스 설정에서 소수 클래스를 정의하기 위해 클래스 빈도(ρ = 50%) 기반 기준을 도입함으로써 이진 클래스에서 다중 클래스 불균형으로 일반화한다.
• CRL을 사용해 특징과 분류기의 공동 학습을 수행함으로써 종단 간 최적화를 가능하게 하면서도 수렴 안정성을 유지한다.
• 각 배치에서 선택되는 상위 하드 샘플 수를 제어하는 하이퍼파라미터 κ를 사용함; κ = 25는 성능과 학습 비용의 균형을 고려해 최적으로 확인됨.
• CRL은 플러그 앤 플레이 형식으로, 표준 딥 네트워크 아키텍처와 호환되며, 불균형 또는 균형 잡힌 데이터셋 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 데이터 재샘플링이나 비용 감안 가중치 없이도 극도로 불균형한 시각적 데이터셋에서 다수 클래스에 대한 편향을 효과적으로 완화할 수 있는 딥러닝 프레임워크가 존재하는가?
• RQ2 전체 또는 정적 샘플링 전략 대비, 소수 클래스에 대해 점진적 배치 단위 하드 샘플 마이닝이 모델 일반화에 어떻게 기여하는가?
• RQ3 CRL 정규화의 최적 범위는 소수 클래스에만 적용하는 것인지, 모든 클래스에 적용하는 것인지이며, 이는 정확도와 학습 비용 간의 상충 관계에 어떻게 영향을 미치는가?
• RQ4 다중 클래스 불균형 설정에서 소수 클래스 임계값 ρ의 선택이 성능에 어떤 영향을 미치는가?
• RQ5 제안된 CRL 방법은 불균형 및 균형 잡힌 벤치마크 모두에서 최신 기술 대비 뛰어난 성능과 학습 효율성을 달성할 수 있는가?

주요 결과

• X-Domain 의류 속성 데이터셋에서 CRL은 기준 모델 MTCT(73.53%) 대비 5.0% 정확도 향상을 기록하며, 평균 정확도 81.30%를 달성하여 최고의 대안인 LMLE를 뛰어넘었다.
• CelebA 얼굴 속성 벤치마크에서 CRL은 LMLE 대비 평균 정확도 3.0% 향상되어 중간 정도로 불균형한 데이터에서 강력한 성능을 보였다.
• CRL은 효율적인 배치 단위 하드 마이닝 덕분에 LMLE 대비 7배 이상 학습 속도가 빠르며, X-Domain에서의 학습 시간은 77.6시간, LMLE는 570시간 이상이었다.
• κ = 25에서 하드 마이닝을 적용할 경우 최적의 성능를 기록함; κ = 1(가장 하드한 샘플 마이닝)은 노이즈가 많고 희박한 경계로 인해 안정성 문제가 발생함.
• 모든 클래스에 CRL을 적용할 경우 기준 모델 대비 7.78% 정확도 향상을 기록했지만, 소수 클래스 전용 범위 대비 상대적 향상률은 12.9%에 그쳐, 소수 클래스에만 집중하는 것이 더 비용 효율적임을 시사함.
• 소수 클래스 기준 ρ = 50%가 이진 클래스 정의와 개념적 일관성을 유지하면서 성능를 최적화하는 데 가장 우수했으며, ρ = 10% 및 ρ = 30%보다 성능가 뛰어남.