[논문 리뷰] CO2: Consistent Contrast for Unsupervised Visual Representation Learning

Chen Wei, Huiyu Wang외 2명|arXiv (Cornell University)|2020. 10. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 10

한 줄 요약

CO2는 이미지 컷 간 이질적인 유사도를 모델링함으로써 대조 학습을 향상시키는 비지도 시각 표현 학습을 위한 일致성 정규화 방법을 제안한다. 쿼리 컷과 양성 컷 간의 유사도를 가짜 레이블로 간주하고 쿼리와 양성 유사도 간의 일致성을 강제함으로써 CO2는 ImageNet 선형 평가에서 MoCo 성능을 top-1 정확도 기준 2.9% 향상시키며, 준지도 및 최종 작업에서 일관된 성능 향상을 보였다.

ABSTRACT

Contrastive learning has been adopted as a core method for unsupervised visual representation learning. Without human annotation, the common practice is to perform an instance discrimination task: Given a query image crop, this task labels crops from the same image as positives, and crops from other randomly sampled images as negatives. An important limitation of this label assignment strategy is that it can not reflect the heterogeneous similarity between the query crop and each crop from other images, taking them as equally negative, while some of them may even belong to the same semantic class as the query. To address this issue, inspired by consistency regularization in semi-supervised learning on unlabeled data, we propose Consistent Contrast (CO2), which introduces a consistency regularization term into the current contrastive learning framework. Regarding the similarity of the query crop to each crop from other images as "unlabeled", the consistency term takes the corresponding similarity of a positive crop as a pseudo label, and encourages consistency between these two similarities. Empirically, CO2 improves Momentum Contrast (MoCo) by 2.9% top-1 accuracy on ImageNet linear protocol, 3.8% and 1.1% top-5 accuracy on 1% and 10% labeled semi-supervised settings. It also transfers to image classification, object detection, and semantic segmentation on PASCAL VOC. This shows that CO2 learns better visual representations for these downstream tasks.

연구 동기 및 목표

• 모든 음성 샘플을 동일하게 취급하는 인스턴스 식별의 한계를 해결하기 위해, 서로 다른 의미적 유사도를 가진 음성 샘플이 존재함에도 불구하고 동일하게 취급되는 문제를 해결한다.
• 일반화된 레이블링 방식인 one-hot 레이블링으로 인해 발생하는 '클래스 충돌' 문제를 완화한다. 이는 서로 다른 이미지에서 유사한 의미를 가진 컷들이 잘못되게 음성으로 간주되는 문제를 포함한다.
• 준지도 학습에서 영감을 얻은 일치성 정규화 프레임워크를 도입하여, 쿼리와 음성 컷 간의 비지도 유사도를 활용한다.
• 인간이 레이블링한 데이터가 필요 없이 표현 품질을 향상시켜, 분류, 검출, 세그멘테이션과 같은 최종 작업으로의 전이를 향상시킨다.

제안 방법

• 쿼리 컷과 양성 컷 간의 유사도를 다른 컷들과 비교할 때의 유사도에 대한 가짜 레이블로 간주한다.
• 일致성 정규화 항목을 도입하여, 동일한 음성 컷과 비교할 때 쿼리와 양성 컷의 유사도 예측이 유사하도록 유도한다.
• 표준 인스턴스 식별 손실과 일치성 정규화 항목을 조합하여 가상의 소프트 레이블을 생성하는 공동 목적 함수를 제안한다.
• 학습 중 양성 유사도 예측의 안정성을 높이기 위해 모멘터럼 인코더를 사용한다.
• 자기 주도적, 부트스트랩 방식으로 모델을 훈련하여, 모델 자체의 예측이 더 견고한 표현 학습을 이끌도록 한다.
• 기존의 대조 학습 프레임워크(MoCo 등)와 호환되도록 데이터 증강을 적용하여 양성 및 음성 컷을 생성한다.

실험 결과

연구 질문

• RQ1 이질적인 이미지 컷 간 유사도를 모델링함으로써 일치성 정규화가 비지도 대조 학습을 향상시킬 수 있는가?
• RQ2 표준 one-hot 인스턴스 식별 대비 양성 컷 유사도를 가짜 레이블로 취급할 경우 표현 품질에 어떤 영향을 미치는가?
• RQ3 CO2는 대조 학습에서 발생하는 '클래스 충돌'의 부정적 영향을 어느 정도 감소시키는가?
• RQ4 제안된 방법은 선형 프로빙, 준지도 학습, 최종 작업 등 다양한 평가 프로토콜에 일반화되는가?
• RQ5 일반적으로 순수하게 지도 학습으로 간주되는 비지도 프레텍스트 작업에 일치성 정규화를 효과적으로 적용할 수 있는가?

주요 결과

• CO2는 ImageNet 선형 분류 프로토콜에서 MoCo 대비 top-1 정확도 기준 2.9% 향상시켜, 자기 주도적 표현 학습에서 뚜렷한 성과를 보였다.
• 1% 레이블이 있는 준지도 학습 설정에서 CO2는 MoCo 대비 top-5 정확도 기준 3.8% 향상되었으며, 낮은 레이블 비율에서도 뛰어난 일반화 능력을 보였다.
• 10% 레이블이 있는 준지도 학습 설정에서 CO2는 MoCo 대비 top-5 정확도 기준 1.1% 향상되었으며, 다양한 데이터 제약 조건에서도 일관된 성능 향상을 보였다.
• CO2는 최종 작업으로의 전이 능력이 뛰어나, PASCAL VOC 기반의 이미지 분류, 객체 검출, 세그멘테이션 벤치마크에서 MoCo를 모두 능가했다.
• 일치성 정규화 항목은 의미적으로 유사하지만 잘못 레이블링된 음성 샘플의 영향을 효과적으로 줄여 특징 공간의 클러스터링을 향상시켰다.
• MoCo와 같은 기존의 대조 학습 프레임워크와 호환되어 아키텍처의 대대적인 수정 없이도 즉시 통합 가능한 플러그인 방식의 개선이 가능하다.