[논문 리뷰] VICRegL: Self-Supervised Learning of Local Visual Features

Adrien Bardes, Juliana Rubio Ponce외 1명|arXiv (Cornell University)|2022. 10. 04.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

VICRegL은 전역 특징 벡터와 국소 특징 벡터에 모두 VICReg 기준을 적용하여 전역 및 국소 시각적 특징을 동시에 학습하는 자기지도 학습 방법을 제안한다. 공간적 근접성과 임bedding 유사성 기반으로 특징을 매칭함으로써, 예를 들어 ConvNeXt-S를 사용할 경우 Pascal VOC에서 67.5 mIoU를 달성하며 최신 기술 수준의 성능을 보이며, 동시에 선형 분류 정확도를 유지한다.

ABSTRACT

Most recent self-supervised methods for learning image representations focus on either producing a global feature with invariance properties, or producing a set of local features. The former works best for classification tasks while the latter is best for detection and segmentation tasks. This paper explores the fundamental trade-off between learning local and global features. A new method called VICRegL is proposed that learns good global and local features simultaneously, yielding excellent performance on detection and segmentation tasks while maintaining good performance on classification tasks. Concretely, two identical branches of a standard convolutional net architecture are fed two differently distorted versions of the same image. The VICReg criterion is applied to pairs of global feature vectors. Simultaneously, the VICReg criterion is applied to pairs of local feature vectors occurring before the last pooling layer. Two local feature vectors are attracted to each other if their l2-distance is below a threshold or if their relative locations are consistent with a known geometric transformation between the two input images. We demonstrate strong performance on linear classification and segmentation transfer tasks. Code and pretrained models are publicly available at: https://github.com/facebookresearch/VICRegL

연구 동기 및 목표

• 자기지도 표현 학습에서 전역 및 국소 시각적 특징을 학습하는 데서 발생하는 상충 관계를 해결하기 위해.
• 사전에 계산된 분할 마스크에 의존하지 않고 전역 불변성과 국소 공간적 구조를 동시에 학습하기 위해.
• 세분화 예측 작업과 같은 밀도 높은 예측 작업에서 성능을 향상시키면서도 분류 정확도를 유지하기 위해.
• 비대비(non-contrastive), 분산 및 공분산 정규화가 적용된 학습이 국소 특징 매칭에 얼마나 효과적인지 탐색하기 위해.
• 국소 특징을 명시적으로 모델링할 경우, 컨volutional 네트워크가 자기지도 학습에서 비전 트랜스포머와 경쟁 가능한 성능을 달성할 수 있는지 보여주기 위해.

제안 방법

• 동일한 가중치를 가진 이중 브랜치 컨볼루션 네트워크를 사용하며, 각 브랜치는 동일한 이미지의 서로 다른 증강된 뷰를 처리한다.
• 최종 풀링 이후의 전역 특징 벡터에 VICReg 기준을 적용하여 불변성과 붕괴 방지를 보장한다.
• 풀링 이전의 특징 맵에 국소 기준을 적용하여 픽셀 공간과 임베딩 공간에서의 $l^2$ 거리 기반으로 특징 벡터를 매칭한다.
• 특징 간 $l^2$ 거리가 임계값 이하이거나, 뷰 간 기하학적 변환과 상대적 위치가 일관성을 보일 경우 국소 특징을 매칭한다.
• 국소 특징의 양성 매칭을 정의하기 위해 공간적 거리와 임베딩 공간 거리의 가중 조합을 사용한다.
• 국소 특징에 비대비 VICReg 손실을 적용하여 음성 샘플링을 피하고 진정한 양성 매칭이 잘못 매칭되는 위험을 줄인다.

실험 결과

연구 질문

• RQ1 사전에 계산된 분할 마스크가 필요 없이 자기지도 방식으로 전역 및 국소 시각적 특징을 효과적으로 동시에 학습시킬 수 있는가?
• RQ2 국소 특징을 공간적 거리와 임베딩 공간 유사성 기반으로 매칭할 경우, 후속 분할 성능에 어떤 영향을 미치는가?
• RQ3 국소 특징에 적용된 비대비 VICReg 손실이 대비 기반 대안보다 성능이 뛰어나게 되는가?
• RQ4 국소 손실에 분산 및 공분산 정규화를 추가할 경우 특징 품질이 얼마나 향상되는가?
• RQ5 국소 특징을 명시적으로 학습할 경우, 컨볼루션 네트워크가 비전 트랜스포머와 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• ResNet-50 백본을 사용할 경우 VICRegL은 Pascal VOC 선형 동 冻결 세분화 벤치마크에서 55.9 mIoU를 달성하여 VICReg 대비 8.1 mIoU 향상.
• ConvNeXt-S 백본을 사용할 경우 동일한 벤치마크에서 67.5 mIoU를 기록하여 VICReg 대비 6.6 mIoU 향상.
• 국소 손실에 분산 및 공분산 정규화를 추가하면 각각 +0.8 mIoU 및 +1.3 mIoU 향상되며, 분류 정확도에 유의미한 영향을 주지 않는다.
• 이 방법은 ImageNet에서 강력한 선형 분류 성능을 유지하여, 국소 특징 학습이 전역 표현 품질을 떨어뜨리지 않음을 입증한다.
• 다중 크롭 데이터 증강 전략은 성능을 추가로 향상시키며, 모든 백본에서 일관된 분할 성능 향상이 관찰된다.
• 시각화 결과는 특징 기반 매칭이 의미적으로 일관된 영역(예: 하늘, 잔디)을 뷰 간에 정확히 일치시킴을 확인하여 효과적인 국소 특징 학습을 입증한다.