[논문 리뷰] Unsupervised Learning of Visual Features by Contrasting Cluster Assignments

Mathilde Caron, Ishan Misra외 4명|arXiv (Cornell University)|2020. 06. 17.

Image Enhancement Techniques참고 문헌 61인용 수 1,908

한 줄 요약

논문은 SwAV를 도입합니다. 이는 같은 이미지의 여러 뷰에 걸친 클러스터 코드 예측을 기반으로 한 온라인 클러스터링 기반 자기지도 학습 방법이며, 대형 메모리 뱅크나 모멘텀 인코더 없이도 강력한 ImageNet 성능과 전이 성능을 달성합니다. 또한 효율적으로 뷰 수를 늘리기 위한 다중 자르 증강을 도입합니다.

ABSTRACT

Unsupervised image representations have significantly reduced the gap with supervised pretraining, notably with the recent achievements of contrastive learning methods. These contrastive methods typically work online and rely on a large number of explicit pairwise feature comparisons, which is computationally challenging. In this paper, we propose an online algorithm, SwAV, that takes advantage of contrastive methods without requiring to compute pairwise comparisons. Specifically, our method simultaneously clusters the data while enforcing consistency between cluster assignments produced for different augmentations (or views) of the same image, instead of comparing features directly as in contrastive learning. Simply put, we use a swapped prediction mechanism where we predict the cluster assignment of a view from the representation of another view. Our method can be trained with large and small batches and can scale to unlimited amounts of data. Compared to previous contrastive methods, our method is more memory efficient since it does not require a large memory bank or a special momentum network. In addition, we also propose a new data augmentation strategy, multi-crop, that uses a mix of views with different resolutions in place of two full-resolution views, without increasing the memory or compute requirements much. We validate our findings by achieving 75.3% top-1 accuracy on ImageNet with ResNet-50, as well as surpassing supervised pretraining on all the considered transfer tasks.

연구 동기 및 목표

• 라벨 없이 시각 표현을 학습하는 온라인형 확장 가능한 자기지도 방법을 개발한다.
• 두 개의 뷰 간의 클러스터 할당을 대조하여 특징 간 비교를 대체한다.
• 추가 비용 없이 뷰 수를 늘리는 다중 자르 전략을 통해 데이터 증강을 개선한다.
• 강력한 다운스트림 비전 태스크에 대한 전이 및 배치 크기 제약에 대한 강건성을 입증한다.

제안 방법

• 이미지 특징을 K개의 프로토타입에 매핑하고 같은 이미지의 두 개의 증강 뷰 간에 예측을 교환하도록 하여 온라인 클러스터 할당을 계산한다.
• 두 뷰 간의 코드 교환을 통해 L(z_t, q_s) + L(z_s, q_t)를 소프트맥스 형태의 유사도와 온도 tau로 최적화한다.
• 프로토타입 간 등분할을 보장하기 위해 미니배치 제약을 갖는 온라인 Sinkhorn-Knopp 최적화를 통해 소프트 할당 Q를 구한다.
• 특징을 단위 구면에 표현하고 인코더 f_theta와 함께 프로토타입 C를 역전파를 통해 공동으로 학습한다.
• 다중 자르 증강을 도입하여 V개의 로우 해상도 자르를 포함한 여러 뷰를 생성하는 동안, 코드는 전체 해상도 자르에 대해서만 계산한다.
• 배치 크기가 제한될 때 온라인 방식으로 작은 피처 큐를 사용하여 대규모 메모리 뱅크와 모멘텀 인코더를 피하며 미니배치 기반의 코드로 작동한다.

실험 결과

연구 질문

• RQ1 온라인 클러스터링과 교환된 할당이 자기지도 시각 표현 학습에서 대조적 방법과 동일하거나 그 이상을 달성할 수 있는가?
• RQ2 다중 자르 증강 전략이 메모리나 컴퓨트 요구를 증가시키지 않으면서 성능을 향상시키는가?
• RQ3 온라인 프로토타입 기반 코드가 다운스트림 태스크로 어떤 기존 감독학습(pretraining)과 비교해 전이되는가?
• RQ4 SwAV가 모멘텀 인코더나 대형 메모리 뱅크 없이도 작은 배치에서 효과적인가?
• RQ5 훈련 기간과 데이터 규모(정제된 데이터 vs 비정제 데이터)가 비지도 사전학습 품질에 미치는 영향은?

주요 결과

• SwAV는 ImageNet에서 ResNet-50로 선형 평가 시 75.3% top-1 정확도를 달성한다.
• SwAV는 전이 태스크에서 기존의 자기지도 방법을 능가하며 여러 데이터셋에서 감독형 ImageNet 사전학습보다 우수한 성능을 보인다.
• 이 방법은 작은 배치에서도 강하고 모멘텀 인코더나 대형 메모리 뱅크를 필요로 하지 않는다.
• 다중 자르 증강은 여러 자기지도 방법에서 일관된 2–4% 이득을 제공한다.
• 온라인 클러스터링과 다중 자르 및 더 큰 아키텍처를 결합하면 여러 다운스트림 태스크에서 감독형 사전학습과의 차이를 줄이거나 능가한다.
• SwAV로 비정제 데이터에서의 사전학습은 무작위 초기화 대비 이점을 보이며 SimCLR과도 경쟁력 있어 데이터 규모와 모델 규모에 대한 강건성을 보여준다.