[논문 리뷰] RegionCL: Can Simple Region Swapping Contribute to Contrastive Learning?

Yufei Xu, Qiming Zhang외 2명|arXiv (Cornell University)|2021. 11. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 9

한 줄 요약

RegionCL는 교체된 쌍에서 잘린 (붙여넣기) 영역과 나머지 (캔버스) 영역을 활용하여 영역 수준의 양성 및 음성 대비 쌍을 추가로 생성하는 새로운 대비 학습 프레임워크를 제안한다. MoCov2, DenseCL, SimSiam와 같은 기존의 SSL 방법에 이러한 영역 수준의 신호를 통합함으로써 RegionCL는 이미지 분류, 객체 검출, 세분화 작업 전반에서 최신 기술 수준의 성능을 달성하며, ImageNet에서는 정확도를 2–5% 향상시키고, MS COCO에서는 mAP를 0.8–1.0 향상시킨다.

ABSTRACT

Self-supervised methods (SSL) have achieved significant success via maximizing the mutual information between two augmented views, where cropping is a popular augmentation technique. Cropped regions are widely used to construct positive pairs, while the left regions after cropping have rarely been explored in existing methods, although they together constitute the same image instance and both contribute to the description of the category. In this paper, we make the first attempt to demonstrate the importance of both regions in cropping from a complete perspective and propose a simple yet effective pretext task called Region Contrastive Learning (RegionCL). Specifically, given two different images, we randomly crop a region (called the paste view) from each image with the same size and swap them to compose two new images together with the left regions (called the canvas view), respectively. Then, contrastive pairs can be efficiently constructed according to the following simple criteria, i.e., each view is (1) positive with views augmented from the same original image and (2) negative with views augmented from other images. With minor modifications to popular SSL methods, RegionCL exploits those abundant pairs and helps the model distinguish the regions features from both canvas and paste views, therefore learning better visual representations. Experiments on ImageNet, MS COCO, and Cityscapes demonstrate that RegionCL improves MoCo v2, DenseCL, and SimSiam by large margins and achieves state-of-the-art performance on classification, detection, and segmentation tasks. The code will be available at https://github.com/Annbless/RegionCL.git.

연구 동기 및 목표

• 자신지도 학습에서 잘린 영역과 나머지 영역의 잠재된 표현 가능성을 탐색하기 위해.
• 기존의 대비 학습 방법에서 잘라낸 후 남은 영역가 활용되지 않는 문제를 해결하기 위해.
• 인스턴스 수준과 영역 수준의 대비 신호를 모두 활용하는 단순하면서도 효과적인 사전 과제를 제안하기 위해.
• 인스턴스 수준과 영역 수준에서 대비 감독 신호를 풍부하게 하여 시각 표현 학습을 향상시키기 위해.
• 기존의 SSL 프레임워크에 최소한의 수정만으로 다양한 후행 작업에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• RegionCL은 두 개의 서로 다른 이미지에서 같은 크기의 영역을 무작위로 잘라내어 서로 교환하여 새로운 복합 이미지를 생성함으로써 캔버스 및 붙여넣기 뷰를 형성한다.
• 간단한 기준에 기반해 대비 쌍을 구성한다: 동일한 원본 이미지에서 온 뷰는 양성으로, 다른 이미지에서 온 뷰는 음성으로 간주한다.
• 이 방법은 동일한 이미지에서 온 캔버스와 붙여넣기 뷰와 같은 영역 수준의 양성 쌍과, 한 이미지의 캔버스와 다른 이미지의 붙여넣기 뷰와 같은 음성 쌍을 다량 생성한다.
• RegionCL은 MoCov2, DenseCL, SimSiam와 같은 기존의 SSL 프레임워크와 호환되며, 영역 수준의 특징을 통합하기 위해 아키텍처에 소량의 수정만 필요로 한다.
• 공유된 인코더와 프로젝터를 사용하여 영역 수준의 특징을 추출하고, 마스크 풀링을 활용해 특징 추출 과정에서 특정 영역에 집중한다.
• 기존의 손실 함수(예: 대비 손실, 밀도 기반 대응 손실)를 유지하면서 영역 수준에서 새로운 양성 쌍을 추가한다.

실험 결과

연구 질문

• RQ1 잘라낸 후 남은 영역이 자기지도 학습의 표현 학습에 의미 있게 기여할 수 있는가?
• RQ2 영역 교체를 통해 잘린 영역과 나머지 영역을 모두 활용하면 특징 표현의 품질이 향상되는가?
• RQ3 기존의 SSL 프레임워크에 큰 아키텍처 수정 없이도 단순한 영역 수준의 대비 학습 전략을 효과적으로 통합할 수 있는가?
• RQ4 영역 수준의 대비 신호를 포함함으로써 분류, 검출, 세분화와 같은 후행 작업의 성능 향상이 이루어지는가?
• RQ5 다양한 비전 작업 전반에서 최신 기술 수준의 SSL 방법과 비교했을 때 RegionCL의 성능 및 일반화 능력은 어떠한가?

주요 결과

• RegionCL는 MoCov2, DenseCL, SimSiam에 적용했을 때 ImageNet에서 선형 분류 정확도를 2–5% 향상시킨다.
• RegionCL는 동일한 기본 모델을 사용할 때 MS COCO 데이터셋에서 객체 검출 성능을 0.8–1.0 mAP 향상시킨다.
• 이 방법은 이미지 분류, 객체 검출, 세분화 작업 전반에서 최신 기술 수준의 성능을 달성하며, 다양한 후행 작업에 대한 강력한 일반화 능력을 보여준다.
• 성능 향상 효과는 여러 백본 아키텍처와 SSL 프레임워크 전반에서 일관되게 나타나, 광범위한 적용 가능성과 강건성을 시사한다.
• RegionCL는 기존의 SSL 방법에 최소한의 수정만으로도 이러한 성과를 달성하여, 단순성과 호환성의 우수성을 입증한다.
• 제거 실험 결과, 영역 수준의 대비 신호가 핵심임을 확인할 수 있었으며, 이를 제거하면 성능이 크게 떨어졌다.