[논문 리뷰] Remix: Rebalanced Mixup

Hsin-Ping Chou, Shih-Chieh Chang외 3명|arXiv (Cornell University)|2020. 07. 08.

Imbalanced Data Classification Techniques참고 문헌 47인용 수 57

한 줄 요약

Remix는 특징 혼합 요인과 레이블 혼합 요인을 분리하여 Mixup의 Relax를 촉진하고, 혼합 샘플을 소수 클래스 쪽으로 라벨링하여 불균형 데이터를 더 잘 처리하며, re-weighting 또는 re-sampling과 결합될 때 특히 여러 데이터셋에서 Mixup 기반 정규화를 개선합니다.

ABSTRACT

Deep image classifiers often perform poorly when training data are heavily class-imbalanced. In this work, we propose a new regularization technique, Remix, that relaxes Mixup's formulation and enables the mixing factors of features and labels to be disentangled. Specifically, when mixing two samples, while features are mixed in the same fashion as Mixup, Remix assigns the label in favor of the minority class by providing a disproportionately higher weight to the minority class. By doing so, the classifier learns to push the decision boundaries towards the majority classes and balance the generalization error between majority and minority classes. We have studied the state-of-the art regularization techniques such as Mixup, Manifold Mixup and CutMix under class-imbalanced regime, and shown that the proposed Remix significantly outperforms these state-of-the-arts and several re-weighting and re-sampling techniques, on the imbalanced datasets constructed by CIFAR-10, CIFAR-100, and CINIC-10. We have also evaluated Remix on a real-world large-scale imbalanced dataset, iNaturalist 2018. The experimental results confirmed that Remix provides consistent and significant improvements over the previous methods.

연구 동기 및 목표

• 불균형한 학습 데이터에 의해 편향된 심층 이미지 분류기의 문제를 다룬다.
• Mixup 기반 정규화에서 Feature와 Label Mixing Factor를 분리하기 위한 Remix를 도입한다.
• Imbalanced 벤치마크에서 Remix가 Mixup, Manifold Mixup, CutMix보다 우수하다는 것을 입증한다.
• re-weighting 또는 re-sampling 기법과의 결합 시 Remix의 호환성 및 추가 이점을 보여준다.

제안 방법

• 특징과 레이블에 대해 분리된 Mixing Factors를 사용하도록 Remix 정의: tilde x_RM = lambda_x x_i + (1-lambda_x) x_j 및 tilde y_RM = lambda_y y_i + (1-lambda_y) y_j.
• lambda_y가 n_i, n_j로 표현된 클래스 빈도에 의존하도록 하는 규칙을 도입하여 소수 클래스에 레이블 강조를 가능하게 한다(삼각관계 kappa와 tau 포함).
• lambda_y = lambda_x일 때 Remix가 표준 Mixup/Manifold Mixup/CutMix로 축소되는 것을 보이고, Remix를 기존 Mixup 기반 방법과 어떻게 결합할 수 있는지 설명한다.
• 샘플링 쌍, Beta로 lambda_x를 샘플링, lambda_y 계산, Remix 샘플 형성, Remix 손실로 모델 업데이트의 알고리즘적 개요를 제시한다.
• 하이퍼파라미터 선택(tau, kappa)에 대한 가이드라인을 제시하고 다른 불균형 처리 기법과의 통합 용이성을 강조한다.

실험 결과

연구 질문

• RQ1 특징-레이블 혼합 요인을 분리하는 것이 클래스 불균형 하에서 학습을 개선하는가?
• RQ2 Remix가 불균형 데이터셋에서 Mixup 기반 방법(Mixup, Manifold Mixup, CutMix)과 비교하여 어떤 성능을 보이는가?
• RQ3 Remix가 재가중치 부여 및 재샘플링 전략을 보강하여 롱테일 및 스텝 불균형 시나리오에서 우수한 결과를 낳을 수 있는가?
• RQ4 Remix의 실용적 하이퍼파라미터 감도(tau, kappa) 및 통합 고려사항은 무엇인가?
• RQ5 iNaturalist 2018과 같은 대규모 실제 불균형 데이터에서 Remix가 효과적인가?

주요 결과

• Remix는 불균형 CIFAR-10/100 및 CINIC-10에서 Vanilla Mixup, Mixup 기반 방법 및 여러 재가중/재샘플링 기준선 대비 일관되게 더 나은 성능을 보인다.
• Remix는 DRW(Deferred Re-weighting) 또는 DRS(Deferred Re-sampling)와 결합될 때 강력한 향상을 달성하며 종종 테스트된 구성 중 최상의 결과를 제공한다.
• 이 방법은 특히 스텝-불균형 하에서 유익하며 실제 불균형 데이터(iNaturalist 2018)에서도 효과를 유지한다.
• Remix는 다른 Mixup 기반 정규화(예: Manifold Mixup, CutMix)와 호환되며 일반적으로 그들의 성능을 향상시키며, 특히 심한 불균형(rho = 100)에서 두드러진다.
• 정성적 분석은 Remix가 의사결정 경계를 소수 클래스 쪽으로 이동시켜 다수 클래스에 대한 여백을 좁힐 수 있으며 소수 클래스의 의사결정을 개선한다는 것을 시사한다.