[논문 리뷰] VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning

Adrien Bardes, Jean Ponce외 1명|arXiv (Cornell University)|2021. 05. 11.

Domain Adaptation and Few-Shot Learning인용 수 285

한 줄 요약

VICReg은 공유 가중치, 배치 정규화, 또는 메모리 뱅크를 필요로 하지 않으면서 파괴 방지에 초점을 둔 세 가지 항(분산 보존, 불변성, 공분산 상관 저하)을 가진 간단하고 모듈식 자기지도 학습 손실을 제시한다.

ABSTRACT

Recent self-supervised methods for image representation learning are based on maximizing the agreement between embedding vectors from different views of the same image. A trivial solution is obtained when the encoder outputs constant vectors. This collapse problem is often avoided through implicit biases in the learning architecture, that often lack a clear justification or interpretation. In this paper, we introduce VICReg (Variance-Invariance-Covariance Regularization), a method that explicitly avoids the collapse problem with a simple regularization term on the variance of the embeddings along each dimension individually. VICReg combines the variance term with a decorrelation mechanism based on redundancy reduction and covariance regularization, and achieves results on par with the state of the art on several downstream tasks. In addition, we show that incorporating our new variance term into other methods helps stabilize the training and leads to performance improvements.

연구 동기 및 목표

• 공동 임베딩 자기지도 학습에서 표현 붕괴를 동기 부여하고 해결한다.
• 정보 용량을 유지하기 위한 세 가지 규제항을 갖춘 가볍고 비대조적(non-contrastive) 손실을 제안한다.
• VICReg가 이질적인 아키텍처와 입력(다중 모달 설정 포함)에서 작동함을 보여준다.
• 분산 항이 학습을 안정화하고 다운스트림 task 성능을 향상시킨다는 것을 보인다.

제안 방법

• 임베딩에 대한 세 항 손실을 정의한다: 불변성(두 뷰 임베딩 간 거리), 분산(차원별 배치 표준편차에 힌지로 작용하여 붕괴를 피함), 공분산(임베딩 차원을 서로 상관되지 않도록 대각이 아닌 공분산에 벌칙을 부여).
• 비대칭적일 수 있는 공동 임베딩 네트워크의 각 분기에 대해 분산 정규화와 공분산 정규화를 독립적으로 적용.
• 가중치 공유나 배치 정규화, 메모리 뱅크 또는 대조 음수(negative)를 필요로 하지 않는다; 인코더 위에 유연한 익스팬더를 둔 시암 이와 유사한 설정을 사용한다.
• 무작위 데이터 증강으로 이미지당 두 가지 뷰를 만들고, 인코더 및 익스팬더 매개변수에 대해 최적화한다.
• 손실 계수, 네트워크 아키텍처(ResNet-50 인코더, 은닉 단위가 8192인 3층 익스팬더) 및 최적화 스케줄(LARS, 코사인 감소)을 포함한 구현 세부 정보를 제공한다.
• 다중 모달 사전학습(이미지-텍스트) 적용 가능성과 다운스트림 작업으로의 전이(이미지넷 선형/부분 감독, 검출, 분할, 검색)를 보여준다.

실험 결과

연구 질문

• RQ1 대규모 배치나 메모리 뱅크에 의존하지 않고도 비대조적 공동 임베딩 목표가 붕괴를 예방할 수 있는가?
• RQ2 명시적 분산 보존 및 공분산 상관 억제가 다양한 다운스트림 작업에서 최신 자기지도 표현을 따라잡는 데 충분한가?
• RQ3 가중치 공유나 동일한 아키텍처 없이도 비대칭적이거나 다중 모달 임베딩 구성이 VICReg에서 실행 가능한가?
• RQ4 분산 규제가 VICReg 및 기타 SSL 방법의 학습 안정성을 향상시키는가?
• RQ5 VICReg은 ImageNet 및 전이 작업에서 대조적 및 클러스터링 기반 SSL 방법에 비해 어떤 성능을 보이는가?

주요 결과

• VICReg은 음수나 메모리 뱅크, 정규화 요건 없이도 ImageNet 선형 및 반지도 정확도에서 경쟁력을 가진다.
• ImageNet 선형 평가에서 VICReg은 Top-1(선형) 73.2%, Top-5 91.1%를 달성하며, 반지도 결과는 약 69.5%(1%) 및 89.5%(10%)이다.
• VICReg은 다운스트림 작업에서 여러 최첨단 자기지도 방법과 일치하거나 능가하며, Places205, VOC07, iNaturalist, COCO 검출/분할로의 강한 전이를 보여준다.
• 분산 항은 명시적으로 노름 붕괴를 방지하고 학습을 안정화시키며; 공분산 항은 임베딩 차원을 서로 상관되지 않게 만든다; 불변성 항은 뷰를 정렬한다.
• VICReg의 모듈식 손실은 비대칭 분기 및 다중 모달 데이터(image-text)에서도 잘 작동하며, 다른 SSL 방법과 통합될 때 학습 안정성을 향상시킬 수 있다.
• 가중치 공유 제약은 VICReg에 필요하지 않으며, 분기들이 완전히 독립적일 수 있어 모달 간 학습이나 모달리티 불가지론적 SSL을 가능하게 한다.