[논문 리뷰] Rethinking Re-Sampling in Imbalanced Semi-Supervised Learning

Ju He, Adam Kortylewski외 5명|arXiv (Cornell University)|2021. 06. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 15

한 줄 요약

이 논문은 클래스 불균형한 준지도 학습에서 특성 추출기와 분류기 학습을 분리하는 것을 목표로 하는 새로운 이단계 재표본 전략인 Bi-Sampling(BiS)을 제안한다. BiS는 표현 학습을 유지하기 위해 초기에는 불균형 표본을, 분류기 일반화를 향상하기 위해 후기에는 균형 잡힌 표본을 점진적으로 전환한다. CIFAR-10과 CIFAR-100에서 최신 기준 성능을 달성하며, 기준 모델 대비 최대 7.5% 향상된 성능을 기록한다.

ABSTRACT

Semi-Supervised Learning (SSL) has shown its strong ability in utilizing unlabeled data when labeled data is scarce. However, most SSL algorithms work under the assumption that the class distributions are balanced in both training and test sets. In this work, we consider the problem of SSL on class-imbalanced data, which better reflects real-world situations. In particular, we decouple the training of the representation and the classifier, and systematically investigate the effects of different data re-sampling techniques when training the whole network including a classifier as well as fine-tuning the feature extractor only. We find that data re-sampling is of critical importance to learn a good classifier as it increases the accuracy of the pseudo-labels, in particular for the minority classes in the unlabeled data. Interestingly, we find that accurate pseudo-labels do not help when training the feature extractor, rather contrariwise, data re-sampling harms the training of the feature extractor. This finding is against the general intuition that wrong pseudo-labels always harm the model performance in SSL. Based on these findings, we suggest to re-think the current paradigm of having a single data re-sampling strategy and develop a simple yet highly effective Bi-Sampling (BiS) strategy for SSL on class-imbalanced data. BiS implements two different re-sampling strategies for training the feature extractor and the classifier and integrates this decoupled training into an end-to-end framework. In particular, BiS progressively changes the data distribution during training such that in the beginning the feature extractor is trained effectively, while towards the end of the training the data is re-balanced such that the classifier is trained reliably. We benchmark our proposed bi-sampling strategy extensively on popular datasets and achieve state-of-the-art performances.

연구 동기 및 목표

• 클래스 불균형한 준지도 학습에서 데이터 재표본 전략이 특성 추출기와 분류기 학습에 미치는 영향을 조사하는 것.
• 전통적인 훈련 전반에 동일한 재표본 전략을 사용하는 관행을 도전하는 것.
• 특정한 표본 전략을 사용하여 표현 학습과 분류기 校정을 별도로 최적화하는 방법을 개발하는 것.
• CIFAR-10과 CIFAR-100과 같은 불균형 준지도 학습 벤치마크에서 최신 기준 성능을 달성하는 것.

제안 방법

• BiS는 두 가지 다른 재표본 전략을 사용한다: 특성 추출기용 랜덤 샘플러와 분류기용 평균 샘플러.
• 훈련 중에 샘플링 가중치 α의 감쇠 스케줄을 사용하여 랜덤 샘플러에서 평균 샘플러로 점진적으로 전환한다.
• 샘플링 가중치 α는 훈련 단계에 따라 포물선 함수에 따라 감쇠되며, 초기에는 불균형 데이터를 우선시하고 후기에는 균형 잡힌 데이터를 우선시한다.
• 특성 추출기와 분류기를 공동으로 훈련한 후 재표본을 사용하여 분류기를 보정함으로써 학습 과정을 분리한다.
• 유의미한 데이터에 대한 재표본 강도를 제어하는 keep 확률 q는 아블레이션 결과에서 중간 값에서 최적 성능를 기록한다.
• 프레임워크는 종단 간 통합되어 있으며, mixup과 같은 추가 훈련 기법이 필요하지 않다.

실험 결과

연구 질문

• RQ1 클래스 불균형한 준지도 학습에서 데이터 재표본 전략은 특성 추출기 학습과 분류기 학습에 어떤 영향을 미치는가?
• RQ2 가짜 레이블이 헤드 클래스 쪽으로 편향되어 있을 때, 재표본 전략은 표현 학습에 해를 끼치는가, 도움이 되는가?
• RQ3 장꼬리형 준지도 학습에서 표현 학습과 분류기 校정을 균형 있게 조절하기 위해 단일 재표본 전략이 효과적으로 작용할 수 있는가?
• RQ4 훈련 중에 다양한 재표본 전략 간 전환에 최적의 스케줄은 무엇인가?
• RQ5 특성 추출기와 분류기 각각에 대해 별도의 표본 전략을 사용하는 분리된 훈련 전략이 공동 재표본 전략을 능가할 수 있는가?

주요 결과

• 가짜 레이블이 헤드 클래스 쪽으로 편향되어 있어도 재표본 전략이 특성 추출기 학습에 해를 끼치지 않으며, 이는 표현 학습이 불균형 데이터에서 유익하다는 것을 시사한다.
• 재표본 전략은 분류기 성능을 크게 향상시키며, 특히 소수 클래스의 성능 향상이 두드러진다. 가짜 레이블이 정확하지 않더라도 마찬가지다.
• CIFAR-10에서 BiS는 β=2, λ=100 조건에서 FixMatch 기준 모델 대비 7.5%p의 절대적 성능 향상을 기록한다.
• CIFAR-100에서는 FixMatch 대비 4%p, CReST+ 대비 1%p의 절대적 성능 향상을 기록한다.
• α에 대한 포물선 감쇠 스케줄이 선형, 코사인, 등가 감쇠보다 약 8% 높은 성능을 기록한다.
• 아블레이션 연구 결과, keep 확률 q의 극단적 값(0 또는 1)은 성능을 떨어뜨리며, 최적의 값은 중간 범위에 위치한다.