[논문 리뷰] Crafting Better Contrastive Views for Siamese Representation Learning

Xiangyu Peng, Kai Wang외 3명|arXiv (Cornell University)|2022. 02. 07.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 시아모이즈 대비 표현 학습을 향상시키기 위해 의미적으로 유의미하고 다양한 이미지 조각을 생성하는 플러그 앤 플레이 모듈인 ContrastiveCrop을 제안한다. 의미 인식 객체 위치 지정을 통해 잘못된 양성(객체 대비 배경)을 방지하고, 중심 억제 샘플링을 통해 조각의 다양성을 높이며, CIFAR-10, CIFAR-100, Tiny ImageNet 및 STL-10에서 0.4%–2.0%의 정확도 향상을 달성한다. 또한 이미지넷-1K 사전학습에서 감지 및 세분화 작업을 위한 하류 작업에서도 일관된 성능 향상을 보였다.

ABSTRACT

Recent self-supervised contrastive learning methods greatly benefit from the Siamese structure that aims at minimizing distances between positive pairs. For high performance Siamese representation learning, one of the keys is to design good contrastive pairs. Most previous works simply apply random sampling to make different crops of the same image, which overlooks the semantic information that may degrade the quality of views. In this work, we propose ContrastiveCrop, which could effectively generate better crops for Siamese representation learning. Firstly, a semantic-aware object localization strategy is proposed within the training process in a fully unsupervised manner. This guides us to generate contrastive views which could avoid most false positives (i.e., object vs. background). Moreover, we empirically find that views with similar appearances are trivial for the Siamese model training. Thus, a center-suppressed sampling is further designed to enlarge the variance of crops. Remarkably, our method takes a careful consideration of positive pairs for contrastive learning with negligible extra training overhead. As a plug-and-play and framework-agnostic module, ContrastiveCrop consistently improves SimCLR, MoCo, BYOL, SimSiam by 0.4% ~ 2.0% classification accuracy on CIFAR-10, CIFAR-100, Tiny ImageNet and STL-10. Superior results are also achieved on downstream detection and segmentation tasks when pre-trained on ImageNet-1K.

연구 동기 및 목표

• 대비 학습에서 랜덤 컷팅의 한계를 해결하기 위해, 일반적으로 잘못된 양성(예: 객체 대비 배경)과 지나치게 유사한 시각을 생성하는 문제를 해결하기 위함.
• 조각 샘플링에 의미적 내용과 다양성을 통합함으로써, 시아모이즈 표현 학습에서의 양성 쌍의 품질을 향상시키기 위함.
• 기존 대비 학습 방법에 아키텍처 변경 없이도 적용 가능한 프레임워크 독립적이고 저비용의 모듈을 설계하기 위함.
• 더 나은 조각 설계가 다양한 데이터셋과 하류 작업에서 더 구분력 있는 표현을 이끌어내는지 경험적으로 검증하기 위함.

제안 방법

• 대비 학습 중 완전히 비지도 학습 방식으로 훈련된 의미 인식 객체 위치 지정 전략을 도입하여, 객체 영역 내에서 조각 샘플링을 안내한다.
• α < 1인 베타 분포를 사용한 중심 억제 샘플링을 적용하여 중심에 위치한 매우 유사한 조각 선택 확률을 낮춘다.
• 의미 인식 위치 지정과 변동성 인식 샘플링을 결합하여 의미적으로 유의미하고 다양한 대비 시각을 생성한다.
• 백본이나 대비 손실을 수정하지 않고도 조각 생성 모듈을 시아모이즈 네트워크에 유연하게 통합할 수 있도록, 미분 가능하고 종단 간(end-to-end) 훈련 프로세스를 사용한다.
• SimCLR와 BYOL/SimSiam처럼 음성 샘플을 사용하는지 여부에 관계없이 호환 가능한 플러그 앤 플레이 설계를 채택한다.
• ContrastiveCrop와 함께 표준 데이터 증강 기법(예: 색상 왜곡, 블러)을 활용하여, 상호 보완적이고 독립적인 성능 향상을 입증한다.

(a)

실험 결과

연구 질문

• RQ1 의미 인식 조각 위치 지정이 대비 학습에서 잘못된 양성 신호(예: 객체 대비 배경)를 줄일 수 있는가?
• RQ2 양성 조각 간의 변동성을 높이면 표현 학습 성능이 향상되는가?
• RQ3 ContrastiveCrop처럼 단순하고 프레임워크 독립적인 모듈이 다양한 대비 학습 방법에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ4 β 분포로 제어되는 조각 샘플링의 변동성은 하류 전이 정확도에 어떤 영향을 미치는가?
• RQ5 ImageNet-1K에서 사전학습한 후, 감지 및 세분화 작업에서 ContrastiveCrop이 성능 향상에 얼마나 기여하는가?

주요 결과

• SimCLR, MoCo, BYOL, SimSiam와 함께 사용할 경우, CIFAR-10, CIFAR-100, Tiny ImageNet 및 STL-10에서 모두 0.4%–2.0%의 분류 정확도 향상을 달성한다.
• ImageNet-1K 사전학습에서, MoCo V1 기준 대비 PASCAL VOC 객체 감지에서 +0.2AP, +0.2AP50, +0.4AP75의 성능 향상을 기록한다.
• COCO에서의 성능은 객체 감지 및 인스턴스 세분화 모두에서 뛰어나며, 모든 메트릭에서 일관된 성능 향상을 보였다.
• α < 1인 중심 억제 샘플링이 균일 샘플링 및 α > 1의 경우보다 항상 우월한 성능을 보이며, 조각의 변동성이 높을수록 학습 성능 향상이 이루어짐을 확인한다.
• MoCo V2 스타일의 증강 기법(Flip, ColorJitter, Grayscale, Blur)과 결합했을 때, RandomCrop 대비 1.2%의 정확도 격차를 확보하여, 상호 보완적이고 누적 가능한 성능 향상을 입증한다.
• 제거 분석 결과, ContrastiveCrop만으로도 RandomCrop 대비 0.4%의 정확도 향상을 달성하여, 데이터 증강을 초월한 내재적 우수성을 입증한다.

(b)