[논문 리뷰] SemPPL: Predicting pseudo-labels for better contrastive representations

Matko Bošnjak, Pierre H. Richemond외 8명|arXiv (Cornell University)|2023. 01. 12.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

SemPPL는 레이블이 부여된 임bedding에 기반한 k-NN 분류기를 사용하여 미레이블 데이터에 대한 가짜 레이블을 예측하고, 이러한 가짜 레이블을 활용해 의미론적 양성 예측을 정의함으로써 표현 학습을 향상시키는 새로운 준지도 학습 대비 학습 방법을 제안한다. 이는 성능 향상을 위한 상호 강화 루프를 생성하며, ResNet-50에 선택적 커널을 적용한 경우 ImageNet에서 1% 및 10% 레이블을 사용할 때 각각 72.3% 및 78.3%의 최고 성능(top-1)을 기록한다.

ABSTRACT

Learning from large amounts of unsupervised data and a small amount of supervision is an important open problem in computer vision. We propose a new semi-supervised learning method, Semantic Positives via Pseudo-Labels (SemPPL), that combines labelled and unlabelled data to learn informative representations. Our method extends self-supervised contrastive learning -- where representations are shaped by distinguishing whether two samples represent the same underlying datum (positives) or not (negatives) -- with a novel approach to selecting positives. To enrich the set of positives, we leverage the few existing ground-truth labels to predict the missing ones through a $k$-nearest neighbours classifier by using the learned embeddings of the labelled data. We thus extend the set of positives with datapoints having the same pseudo-label and call these semantic positives. We jointly learn the representation and predict bootstrapped pseudo-labels. This creates a reinforcing cycle. Strong initial representations enable better pseudo-label predictions which then improve the selection of semantic positives and lead to even better representations. SemPPL outperforms competing semi-supervised methods setting new state-of-the-art performance of $68.5\%$ and $76\%$ top-$1$ accuracy when using a ResNet-$50$ and training on $1\%$ and $10\%$ of labels on ImageNet, respectively. Furthermore, when using selective kernels, SemPPL significantly outperforms previous state-of-the-art achieving $72.3\%$ and $78.3\%$ top-$1$ accuracy on ImageNet with $1\%$ and $10\%$ labels, respectively, which improves absolute $+7.8\%$ and $+6.2\%$ over previous work. SemPPL also exhibits state-of-the-art performance over larger ResNet models as well as strong robustness, out-of-distribution and transfer performance. We release the checkpoints and the evaluation code at https://github.com/deepmind/semppl .

연구 동기 및 목표

• ImageNet 데이터의 소수만 레이블이 부여된 저감독 환경에서 준지도 표현 학습을 향상시키는 것.
• 기존 대비 학습 방법에서 음성 샘플링에 집중하는 데 반해 최적의 양성 샘플링을 간과하는 불균형 문제를 해결하는 것.
• 제한된 진정 레이블을 활용해 미레이블 데이터에 대한 가짜 레이블을 부트스트랩함으로써 학습된 표현의 의미론적 일치도를 향상시키는 방법을 개발하는 것.
• 더 나은 표현이 가짜 레이블 예측을 향상시키고, 그로 인해 양성 샘플링이 개선되며, 다시 표현 학습이 향상되는 상호 강화 루프를 생성하는 것.

제안 방법

• SemPPL는 레이블이 부여된 데이터의 임베딩에 기반한 k-NN 분류기를 사용하여, 레이블이 없는 데이터에 대한 가짜 레이블을 예측함으로써 의미론적 양성 예측을 가능하게 한다.
• 의미론적 양성 예측은 주어진 앵커 샘플과 동일한 예측된 가짜 레이블을 공유하는 레이블이 없는 샘플로 정의된다.
• 이 방법은 앵커 샘플과 의미론적 양성 샘플 간의 유사도를 최대화하고, 음성 샘플과의 유사도를 최소화하는 대비 손실을 통해 표현 학습을 공동 최적화한다.
• 이 프레임워크는 어떤 대비 손실과도 호환되며, 비대비 목표로도 확장 가능하다.
• 큰(224×224) 및 작은(96×96) 시각을 포함한 다중 크롭 데이터 증강 전략을 사용하며, 큰 시각에 대해 10% 확률로 시각적 중심 강조 마스크를 적용한다.
• 학습 파이프라인은 메모리 백업 업데이트를 위한 큐를 포함하며, 의미론적 양성 예측 기반의 추가 손실 항목을 통합하여 최소한의 계산 오버헤드(단계 시간의 8.5%)를 유발한다.

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터에서의 가짜 레이블 예측이 대비 표현 학습에서 의미론적 양성 예측의 선택을 향상시킬 수 있는가?
• RQ2 공유된 가짜 레이블을 기반으로 정의된 의미론적 양성 예측을 통합할 경우, 저샷 준지도 학습 환경에서 표현 품질이 어떻게 향상되는가?
• RQ3 표현 학습과 가짜 레이블 예측 간의 상호 강화 루프가 최소한의 감독 하에 ImageNet에서 성능 향상에 얼마나 기여하는가?
• RQ4 정확도, 내성적 안정성, 그리고 분포 외 일반화 성능 측면에서 SemPPL은 최고 성능(SOTA) 기법들과 어떻게 비교되는가?
• RQ5 SemPPL는 선택적 커널과 같은 아키텍처적 개선과 효과적으로 조합되어 성능을 추가로 향상시킬 수 있는가?

주요 결과

• SemPPL는 ResNet-50 기반으로 ImageNet에서 1% 레이블을 사용할 때 최고 성능(SOTA)의 68.5% top-1 정확도를 달성한다.
• 10% 레이블을 사용할 경우 SemPPL는 ResNet-50에서 76.0% top-1 정확도를 기록하며 준지도 학습 설정에서 새로운 최고 성능을 수립한다.
• 선택적 커널과 결합할 경우, SemPPL는 ImageNet에서 1% 및 10% 레이블을 사용할 때 각각 72.3% 및 78.3%의 top-1 정확도를 기록하며, 이는 이전 작업 대비 각각 +7.8% 및 +6.2%의 절대 정확도 향상이다.
• SemPPL는 강력한 내성적 안정성과 분포 외 일반화 성능을 보이며, 이와 같은 벤치마크에서 이전 최고 성능(SOTA) 기법들을 능가한다.
• ReLIC v2 대비 추가 계산 비용은 단 8.5%에 불과하며, k-NN 및 손실 계산이 주요 기여 요소이며, 다양한 대비 및 비대비 목표와 호환된다.
• 코드와 체크포인트는 재현성 및 향후 연구를 위해 https://github.com/deepmind/semppl 에 공개되어 있다.