[논문 리뷰] ImCLR: Implicit Contrastive Learning for Image Classification

John Chen, Samarth Sinha외 1명|arXiv (Cornell University)|2021. 05. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 4

한 줄 요약

ImCLR는 손실 함수, 하이퍼파ram터 또는 아키텍처를 수정하지 않고도 깊은 네트워크가 유사한 이미지와 비유사한 이미지를 암묵적으로 구분하도록 학습할 수 있도록 하는 새로운 암묵적 대비 학습 프레임워크를 제안한다. 이는 감독 학습, 준감독 학습, 강건성 벤치마크 전반에서 최신 기술 수준의 성능 향상을 이룬다. 특히 Tiny ImageNet에서 3.24%의 정확도 향상과 Π-모델 준감독 벤치마크에서 2.16%의 향상을 기록한다.

ABSTRACT

Contrastive learning is an effective method for learning visual representations. In most cases, this involves adding an explicit loss function to encourage similar images to have similar representations, and different images to have different representations. In this paper, we introduce a clever construction for Implicit Contrastive Learning (ImCLR), primarily in the supervised setting: there, the network can implicitly learn to differentiate between similar and dissimilar images. Furthermore, this requires almost no change to existing pipelines, which allows for easy integration and for fair demonstration of effectiveness on a wide range of well-accepted benchmarks. Namely, there is no change to loss, no change to hyperparameters, and no change to general network architecture. We show that ImCLR improves the test error in the supervised setting across a variety of settings, including 3.24% on Tiny ImageNet, 1.30% on CIFAR-100, 0.14% on CIFAR-10, and 2.28% on STL-10. We show that this holds across different number of labeled samples, maintaining approximately a 2% gap in test accuracy down to using only 5\% of the whole dataset. We further show that gains hold for robustness to common input corruptions and perturbations at varying severities with a 0.72% improvement on CIFAR-100-C, and in the semi-supervised setting with a 2.16% improvement with the standard benchmark Π-model. We demonstrate that ImCLR is complementary to existing data augmentation techniques, achieving over 1% improvement on CIFAR-100 by combining ImCLR with CutMix over either baseline, and 2\% by combining ImCLR with AutoAugment over either baseline. Finally, we perform an ablation study.

연구 동기 및 목표

• 기존 훈련 파이프라인을 수정하지 않고도 시각적 표현 학습을 향상시키는 대비 학습 방법을 개발하는 것.
• 감독 학습 환경에서 모델이 유사한 이미지와 비유사한 이미지를 암묵적으로 구분하도록 학습할 수 있도록 하는 것.
• 낮은 데이터 환경, 오염에 대한 강건성, 준감독 설정 등 다양한 조건에서도 성능 향상을 유지하는 것.
• 기존 데이터 증강 기법(예: CutMix, AutoAugment)과의 호환성과 상호보완성을 확보하는 것.

제안 방법

• ImCLR는 명시적인 대비 손실 없이 특징 공간의 동역학을 수정하여 암묵적인 대비 학습을 유도하는 새로운 훈련 목표를 도입한다.
• 이 방법은 역전파 과정에서 네트워크의 내부 최적화 과정을 활용하여 양성 쌍을 암묵적으로 정렬하고 음성 쌍을 분리한다.
• 손실 함수, 하이퍼파ram터, 네트워크 아키텍처에 어떠한 변경도 가하지 않으며, 오직 최적화 과정의 암묵적 인덕티브 바이어스만 변경된다.
• 표준 감독 훈련과 호환되며, 기존 딥 러닝 파이프라인에 원활하게 통합된다.
• 명시적인 대비 목표 없이도 경량화된 기울기 업데이트를 통해 네트워크의 암묵적 능력을 활용해 대비 표현을 학습한다.
• 프레임워크는 아키텍처나 훈련 파이프라인 수정 없이 즉시 사용 가능한 플러그 앤 플레이 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 손실 함수나 하이퍼파ram터를 수정하지 않고도 암묵적 대비 학습이 감독 학습 이미지 분류 정확도를 향상시킬 수 있는가?
• RQ2 5%의 훈련 데이터만을 사용하는 낮은 데이터 환경에서 ImCLR의 성능는 어떠한가?
• RQ3 ImCLR는 이미지 분류에서 일반적인 입력 오염과 교란에 대해 강건성이 향상되는가?
• RQ4 CutMix나 AutoAugment와 같은 기존 데이터 증강 전략과 효과적으로 조합될 수 있는가?
• RQ5 ImCLR는 Π-모델 벤치마크와 같은 준감독 학습 설정으로 일반화되는가?

주요 결과

• 표준 감독 훈련 대비 ImCLR는 Tiny ImageNet에서 테스트 정확도를 3.24% 향상시켰다.
• CIFAR-100에서는 훈련 파이프라인에 어떠한 변경도 가하지 않은 채 테스트 정확도를 1.30% 향상시켰다.
• 훈련 데이터의 5%만을 사용할 경우에도 ImCLR는 기준 모델 대비 약 2%의 정확도 우위를 유지했다.
• CIFAR-100-C에서 오염에 대한 강건성을 0.72% 향상시켜 분포 이탈 하에서도 일반화 능력 향상을 입증했다.
• 준감독 설정에서는 표준 Π-모델 벤치마크에서 성능을 2.16% 향상시켰다.
• CutMix나 AutoAugment와 조합했을 경우, 각각 CIFAR-100에서 1% 이상, 2% 이상의 정확도 향상을 기록하여 강력한 상호보완성을 보였다.