[논문 리뷰] MixCo: Mix-up Contrastive Learning for Visual Representation

Sungnyun Kim, Gihun Lee외 2명|arXiv (Cornell University)|2020. 10. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 54

한 줄 요약

MixCo는 mix-up으로 생성된 반양성 샘플을 사용하여 대조 학습을 확장하고, 제한된 학습 자원에서도 데이터 셋 전반에 걸친 선형 평가를 향상시킵니다.

ABSTRACT

Contrastive learning has shown remarkable results in recent self-supervised approaches for visual representation. By learning to contrast positive pairs' representation from the corresponding negatives pairs, one can train good visual representations without human annotations. This paper proposes Mix-up Contrast (MixCo), which extends the contrastive learning concept to semi-positives encoded from the mix-up of positive and negative images. MixCo aims to learn the relative similarity of representations, reflecting how much the mixed images have the original positives. We validate the efficacy of MixCo when applied to the recent self-supervised learning algorithms under the standard linear evaluation protocol on TinyImageNet, CIFAR10, and CIFAR100. In the experiments, MixCo consistently improves test accuracy. Remarkably, the improvement is more significant when the learning capacity (e.g., model size) is limited, suggesting that MixCo might be more useful in real-world scenarios. The code is available at: https://github.com/Lee-Gihun/MixCo-Mixup-Contrast.

연구 동기 및 목표

• 레이블 없이 자기지도 시각 표현의 개선을 촉진합니다.
• mix-up을 통해 대조 학습을 반양성 샘플로 확장합니다.
• MixCo가 다운스트림 작업으로의 전이 성능을 향상시킨다는 것을 보여줍니다.
• 제한된 학습 자원 하에서 이득이 두드러진다는 것을 보여줍니다.

제안 방법

• MixCo를 혼합 이미지를 사용해 반양성 타깃을 생성하는 대조 손실의 즉시 확장으로 정의합니다.
• 두 이미지의 볼록 결합으로 혼합 데이터 x_mix를 생성하고 그 표현 v_mix를 계산합니다.
• MixCo 손실을 표준 대조 손실과 v_mix를 v_i 및 v_k에 연결하는 반양성 손실의 조합으로 계산합니다.
• 가중 매개변수 beta로 손실을 결합합니다: L_total = L_Contrast + beta * L_MixCo.
• MixCo를 MoCo-v2 및 SimCLR에 적용하고 TinyImageNet, CIFAR-10, CIFAR-100에서 선형 평가로 평가합니다.

실험 결과

연구 질문

• RQ1 mix-up을 통해 반양성 샘플을 도입하면 대조 방법으로 학습된 시각 표현의 품질이 개선됩니까?
• RQ2 MixCo가 기존 대조 프레임워크(예: MoCo-v2, SimCLR)와 호환되고 모델 크기 전반에서 이로운가요?
• RQ3 사전 학습 중에 보지 못한 다운스트림 데이터셋으로의 전이 성능은 어떠한가요?
• RQ4 계산 자원이나 모델 용량이 제한될 때 MixCo의 이점이 더 두드러지나요?

주요 결과

• MixCo는 인코더 크기와 데이터셋에 걸쳐 선형 평가를 일관되게 향상시킵니다.
• ResNet-18을 100 에폭 학습시켰을 때, MixCo는 기초 MoCo-v2 및 SimCLR과 비교하여 TinyImageNet, CIFAR10, CIFAR100 결과를 향상시킵니다.
• 가장 큰 상대 이득은 더 작은 모델과 더 적은 학습 자원에서 발생합니다(예: ResNet-18 100에폭 설정에서 TinyImageNet top-1 기준 +6.84% 포인트).
• MixCo 활성화 모델은 비-MixCo 대응 모델보다 CIFAR10/100 및 TinyImageNet에서 더 높은 전이 정확도를 달성합니다.