[논문 리뷰] Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations

Mahmoud Assran, Nicolas Ballas외 2명|arXiv (Cornell University)|2020. 06. 18.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 사전 훈련 중에 최소한의 레이블된 데이터를 활용하기 위해 노이즈 대비 추정(NCE)과 이웃 성분 분석(NCA)을 통합한 준지도형 대비 학습 손실인 SuNCEt을 제안한다. 훈련 초반에 조그만 양의 지도 정보를 통합함으로써 SuNCEt은 수렴 속도를 가속화하여 이전의 대비 방법보다 반 훨씬 적은 사전 훈련 계산량으로 최신 기술 수준의 ImageNet 성능을 달성한다.

ABSTRACT

We investigate a strategy for improving the efficiency of contrastive learning of visual representations by leveraging a small amount of supervised information during pre-training. We propose a semi-supervised loss, SuNCEt, based on noise-contrastive estimation and neighbourhood component analysis, that aims to distinguish examples of different classes in addition to the self-supervised instance-wise pretext tasks. On ImageNet, we find that SuNCEt can be used to match the semi-supervised learning accuracy of previous contrastive approaches while using less than half the amount of pre-training and compute. Our main insight is that leveraging even a small amount of labeled data during pre-training, and not only during fine-tuning, provides an important signal that can significantly accelerate contrastive learning of visual representations. Our code is available online at github.com/facebookresearch/suncet.

연구 동기 및 목표

• 시각 표현 학습에서 대비 자기지도 학습 사전 훈련의 높은 계산 비용을 해결하기 위해.
• 사전 훈련 기간 동안 조그만 양의 레이블된 데이터를 사용하는 것—즉, 피나이팅 단계에서만이 아니라—이 학습을 가속화할 수 있는지 조사하기 위해.
• 초기 하이퍼파ram터 조정이나 메모리 오버헤드 없이도 수렴 속도를 향상시키는 새로운 준지도형 손실을 설계하기 위해.
• 더 적은 사전 훈련 계산량과 데이터 효율성으로 ImageNet에서 최신 기술 수준의 준지도형 정확도를 달성하기 위해.

제안 방법

• 노이즈 대비 추정(NCE)과 이웃 성분 분석(NCA)을 결합한 대비 손실인 SuNCEt을 제안하여 사전 훈련 중에 클래스 간 표현을 구분한다.
• 사전 훈련 중에 작은 레이블된 서브셋을 사용하여 대비 목표를 안내함으로써 고품질 표현으로의 수렴 속도를 가속화한다.
• 기존의 대비 프레임워크인 SimCLR과 SwAV와 SuNCEt 손실을 통합하여 표준 데이터 증강 및 인코더 아키텍처와의 호환성을 유지한다.
• 온전한 임베딩 텐서를 저장하는 데 필요한 메모리 오버헤드를 피하기 위해, 전체 NCA 계산 대신 NCE 기반 추정에 의존하는 정규화된 온도 조정형 교차 엔트로피 손실을 사용한다.
• 사전 훈련 중에 레이블된 예를 양성 쌍으로 간주하여, 모델이 훈련 초반에 클래스 수준의 구조를 더 이른 시점에 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 사전 훈련 중에 조그만 양의 레이블된 데이터를 사용하면 대비 표현 학습의 수렴 속도를 크게 향상시킬 수 있는가?
• RQ2 훈련 파ipel라인의 초기 단계에서 지도 정보를 통합하면 최종 정확도를 유지하거나 향상시키면서도 필요한 사전 훈련 계산량을 줄일 수 있는가?
• RQ3 SuNCEt은 표준 대비 손실 및 기타 준지도형 방법과 비교해 수렴 속도와 최종 성능 측면에서 어떻게 성과를 내는가?
• RQ4 SuNCEt은 하이퍼파ram터 조정 없이도 기존의 대비 프레임워크인 SimCLR과 SwAV와 효과적으로 통합될 수 있는가?

주요 결과

• SuNCEt은 이전의 최신 기술 수준의 대비 방법과 동일한 준지도형 ImageNet 상위-5 정확도를 달성하면서도 사전 훈련 계산량과 에포크 수를 반 이하로 줄였다.
• 10%의 레이블된 데이터를 가진 ImageNet에서 SuNCEt과 SwAV를 조합하면 최신 기술 수준의 상위-5 정확도를 달성하며, RandAugment를 사용한 FixMatch를 능가하는 성능을 보였다.
• 모델은 하이퍼파ram터 조정이 필요 없으며, 다양한 배치 크기와 데이터 증강 설정에서도 일관된 성능을 유지한다.
• 사전 훈련 중에 조그만 양의 레이블된 데이터를 사용함으로써 수렴 속도가 크게 향상되어, 광범위한 사전 훈련이 더 이상 필요로 하지 않는다.
• 더 큰 배치와 더 많은 양성 쌍을 앵커에 포함할 경우 SuNCEt은 기본 대비 방법보다 뛰어난 성능을 보이며, 확장성 우수성을 입증한다.