[논문 리뷰] Can Semantic Labels Assist Self-Supervised Visual Representation Learning?

Longhui Wei, Lingxi Xie외 6명|arXiv (Cornell University)|2020. 11. 17.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 시각적 표현 전이를 향상시키기 위해 의미적 레이블을 대비 학습에 통합하는 새로운 자기지도 학습 방법인 Supervised Contrastive Adjustment in Neighborhood (SCAN)을 제안한다. 대비 학습 중에 의미적 및 외관적으로 유사한 이웃을 양성 샘플로 유지함으로써, SCAN은 감지 및 분할 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 완전히 지도된 학습 및 자기지도 학습 기반선을 모두 능가한다. 특히 COCO 객체 감지에서 1.7%의 AP 향상을 기록한다.

ABSTRACT

Recently, contrastive learning has largely advanced the progress of unsupervised visual representation learning. Pre-trained on ImageNet, some self-supervised algorithms reported higher transfer learning performance compared to fully-supervised methods, seeming to deliver the message that human labels hardly contribute to learning transferrable visual features. In this paper, we defend the usefulness of semantic labels but point out that fully-supervised and self-supervised methods are pursuing different kinds of features. To alleviate this issue, we present a new algorithm named Supervised Contrastive Adjustment in Neighborhood (SCAN) that maximally prevents the semantic guidance from damaging the appearance feature embedding. In a series of downstream tasks, SCAN achieves superior performance compared to previous fully-supervised and self-supervised methods, and sometimes the gain is significant. More importantly, our study reveals that semantic labels are useful in assisting self-supervised methods, opening a new direction for the community.

연구 동기 및 목표

• 대비 학습의 성공에도 불구하고 의미적 레이블이 자기지도 시각 표현 학습에 의미적으로 기여할 수 있는지 조사하기 위해.
• 과제에 특화된 의미적 특징(지도 학습에서 유래)과 과제에 무관한 외관 특징(자기지도 학습에서 유래) 사이의 갈등을 해결하기 위해.
• 일반화성이나 성능을 떨어뜨리지 않으면서 의미적 가이던스와 대비 학습을 상호보완적으로 통합하는 방법을 설계하기 위해.
• 적절히 활용된 의미적 레이블이 최종 과제에서의 전이 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• SCAN은 대비 학습 목표를 수정하여, 동일 클래스의 모든 이미지를 양성 샘플로 정의하는 대신, 쿼리와 의미적 및 외관적으로 가장 유사한 이미지만을 양성 샘플로 정의한다.
• 이 방법은 무 supervision 대비 학습(예: MoCo-v2)에서 사전 학습된 모델을 취득하고, 각 쿼리 이미지의 이웃을 의미적 및 시각적으로 유사한 인스턴스로 재정의한다.
• 모델은 임베딩 공간과 레이블 공간 양쪽에서 가장 유사한 상위-K개의 양성 이웃을 유지하며, 나머지 모든 샘플은 음성으로 간주한다.
• 대비 손실는 쿼리와 그 양성 이웃을 더 가깝게 만들고, 나머지 모든 음성 샘플은 더 멀리 밀어내도록 조정되어, 외관 일반화에 해를 끼치지 않으면서 의미적 구분력을 향상시킨다.
• 구현은 기존의 대비 학습 프레임워크를 초과해 최소한의 코드 수정만 필요하므로 쉽게 도입할 수 있다.
• 이 접근법은 ImageNet-1K에서 선형 평가 및 COCO, VOC, Cityscapes에서 감지 및 분할을 위한 파인튜닝을 통해 평가된다.

실험 결과

연구 질문

• RQ1 의미적 레이블이 적절히 통합될 경우 자기지도 시각 표현 학습에 기여할 수 있는가?
• RQ2 의미적 지도 학습을 대비 학습과 결합하면 순수 자기지도 학습 또는 완전히 지도 학습 방법보다 더 나은 전이 성능를 달성할 수 있는가?
• RQ3 의미적 특징과 외관 특징의 통합은 객체 감지 및 인스턴스 분할과 같은 최종 과제에서 성능에 어떤 영향을 미치는가?
• RQ4 양성 이웃의 수를 다양하게 조절할 경우 모델의 일반화성과 성능에 어떤 영향을 미치는가?

주요 결과

• VOC 감지에서 SCAN은 83.3%의 AP50 성능을 기록하며, 완전히 지도된 학습 및 자기지도 학습 기반선을 모두 능가한다.
• COCO에서 SCAN은 APbb를 MoCo-v2의 39.2%에서 40.9%로 향상시켜 객체 감지 성능 향상이 뚜렷하다.
• 인스턴스 분할에서 SCAN은 COCO에서 37.2%의 APmk를 달성하여 MoCo-v2 대비 1.5% 향상되었다.
• Cityscapes에서 SCAN은 세분화 분할에서 76.5%의 mIoU 성능을 기록하여 MoCo-v2의 75.2%를 초월했다.
• ImageNet-1K에서의 선형 평가 결과, SCAN은 75.0%의 Top-1 정확도를 기록하여 MoCo-v2 대비 3.9% 향상되었다.
• 분석 결과, SCAN은 소형 및 중형 객체 감지 성능을 향상시켰다(비교: APbbS 24.3 vs. 23.8, APbbM 46.7 vs. 45.6), 의미적 구분력 향상이 확인되었다.