[논문 리뷰] Self-supervised Learning is More Robust to Dataset Imbalance

Hong Liu, Jeff Z. HaoChen외 2명|arXiv (Cornell University)|2021. 10. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 68인용 수 63

한 줄 요약

이 논문은 자기지도 학습(SSL) 표현이 감독학습 표현보다 클래스 불균형에 덜 민감하다고 보여주고, 이론적 및 실증적 설명을 제공하며, 불균형 데이터에서 SSL을 추가로 개선하기 위한 재가중 기반 규제 방법을 도입한다.

ABSTRACT

Self-supervised learning (SSL) is a scalable way to learn general visual representations since it learns without labels. However, large-scale unlabeled datasets in the wild often have long-tailed label distributions, where we know little about the behavior of SSL. In this work, we systematically investigate self-supervised learning under dataset imbalance. First, we find out via extensive experiments that off-the-shelf self-supervised representations are already more robust to class imbalance than supervised representations. The performance gap between balanced and imbalanced pre-training with SSL is significantly smaller than the gap with supervised learning, across sample sizes, for both in-domain and, especially, out-of-domain evaluation. Second, towards understanding the robustness of SSL, we hypothesize that SSL learns richer features from frequent data: it may learn label-irrelevant-but-transferable features that help classify the rare classes and downstream tasks. In contrast, supervised learning has no incentive to learn features irrelevant to the labels from frequent examples. We validate this hypothesis with semi-synthetic experiments and theoretical analyses on a simplified setting. Third, inspired by the theoretical insights, we devise a re-weighted regularization technique that consistently improves the SSL representation quality on imbalanced datasets with several evaluation criteria, closing the small gap between balanced and imbalanced datasets with the same number of examples.

연구 동기 및 목표

• 사전 학습 시 클래스 불균형이 자기지도 표현에 어떤 영향을 미치는지 조사한다.
• 도메인 내 및 도메인 외 평가를 사용하여 SSL 대 감독 사전 학습의 강건성을 비교한다.
• 불균형 하에서의 SSL 강건성에 대한 이론적 및 실증적 설명을 개발한다.
• 불균형 데이터에서 SSL 성능을 개선하기 위한 재가중 규제 기법을 제안한다.

제안 방법

• 다양한 불균형 비율과 샘플 크기로 CIFAR-10 및 ImageNet에서 SSL(MoCo v2 및 SimSiam)과 감독 사전 학습을 체계적으로 평가한다.
• 균형된 도메인 내 데이터에서 선형 탐색(linear probing)을 통한 표현 품질과 다운스트림 도메인 외부 데이터에 대한 파인튜닝으로 평가한다.
• 불균형 하에서 SSL과 감독 학습이 학습한 특징을 비교하기 위한 간단한 이론적 설정을 제공한다.
• SSL vs. SL이 학습한 이전 가능 특징과 레이블 관련 특징을 시각화하기 위한 준합성 실험을 수행한다.
• 커널 밀도 기반 인스턴스 가중치를 갖는 재가중 샤프니스 어웨어 최소화(rwSAM)를 도입하여 불균형 데이터에서 SSL을 개선한다.

실험 결과

연구 질문

• RQ1 데이터셋 불균형이 ID(내부 도메인) 및 OOD(도메인 외) 평가에서 SSL 대 감독 표현의 품질에 어떤 영향을 미치는가?
• RQ2 왜 SSL은 자주 등장하는 클래스에서 전이 가능한 특징을 학습하는 경향이 있어 드문 클래스에 도움이 되는가?
• RQ3 재가중 규제가 불균형 데이터셋에서 SSL 성능을 개선할 수 있는가, 그리고 이것이 희귀한 예에 대한 일반화에 어떤 영향을 미치는가?
• RQ4 이론적 토이 설정과 준합성 실험이 SSL이 레이블과 무관하지만 전이 가능한 특징을 포착한다는 주장를 뒷받침하는가?

주요 결과

• SSL 표현은 감독 표현보다 클래스 불균형에 더 강건하다고 다양한 구성(configuration)에서 확인된다.
• ID 및 OOD 평가 모두에서 균형 학습과 불균형 학습 사이의 강건성 차이가 SSL에서 SL보다 작다.
• SSL은 자주 등장하는 클래스에서 더 풍부하고 전이 가능한 특징을 학습하는 경향이 있어 희귀 클래스 및 다운스트림 작업에 도움을 준다.
• 재가중 샤프니스 어웨어 최소화(rwSAM) 방법은 불균형 데이터셋에서 SSL 표현 품질을 일관되게 향상시키고 균형 데이터와의 격차의 일부를 좁힌다.