[논문 리뷰] Understanding Dimensional Collapse in Contrastive Self-supervised Learning

Jing Li, Pascal Vincent외 2명|arXiv (Cornell University)|2021. 10. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 90

한 줄 요약

본 논문은 대조적 자기지도 학습에서 차원 붕괴가 왜 발생하는지 분석하고, 표현 공간을 직접 최적화하는 프로젝터 없는 방법 DirectCLR를 제시하며, ImageNet 선형 탐침 정확도를 향상시킨다.

ABSTRACT

Self-supervised visual representation learning aims to learn useful representations without relying on human annotations. Joint embedding approach bases on maximizing the agreement between embedding vectors from different views of the same image. Various methods have been proposed to solve the collapsing problem where all embedding vectors collapse to a trivial constant solution. Among these methods, contrastive learning prevents collapse via negative sample pairs. It has been shown that non-contrastive methods suffer from a lesser collapse problem of a different nature: dimensional collapse, whereby the embedding vectors end up spanning a lower-dimensional subspace instead of the entire available embedding space. Here, we show that dimensional collapse also happens in contrastive learning. In this paper, we shed light on the dynamics at play in contrastive learning that leads to dimensional collapse. Inspired by our theory, we propose a novel contrastive learning method, called DirectCLR, which directly optimizes the representation space without relying on an explicit trainable projector. Experiments show that DirectCLR outperforms SimCLR with a trainable linear projector on ImageNet.

연구 동기 및 목표

• 대조적 자기지도 학습이 임베딩이 더 낮은 차원의 부분공간을 차지하는 차원 붕괴를 보일 수 있음을 보인다.
• 차원 붕괴를 야기하는 두 가지 메커니즘: 강력한 증강과 암시적 정규화를 확인한다.
• 표현 공간을 직접 최적화하는 프로젝터-free 방법 DirectCLR를 제안한다.
• ImageNet에서 선형 프로젝터를 갖춘 SimCLR보다 DirectCLR이 더 우수하다는 것을 보여준다.

제안 방법

• 선형 및 2층 선형 네트워크에서 InfoNCE 손실 하의 대조 학습 dynamics를 이론적으로 분석하여 가중치 업데이트를 특징지운다.
• 그래디언트 흐름의 유도: dot W = -G로, G는 데이터 및 증강 공분산을 통해 표현된다.
• 증강과 데이터 공분산을 포착하는 PSD 행렬의 차이로서 행렬 X를 도입하고, 붕괴가 언제 발생하는지 나타낸다.
• 강한 증강이 임베딩 공분산을 저랭크로 만들어 차원 붕괴를 유발할 수 있음을 입증한다.
• 과다 매개변수화된 네트워크에서의 암시적 정규화 분석이 저랭크 임베딩 공간으로 이어진다.
• 정보NCE 손실에서 표현의 고정된 서브 벡터를 학습하고 이를 정규화하여 프로젝터를 우회하는 DirectCLR를 제안한다.
• 프로젝터의 특성(대각/저랭크)을 보여주고, 이것이 선형 탐침 정확도에 미치는 영향을 확인하는 아블레이션 연구.

실험 결과

연구 질문

• RQ1 음의 샘플에도 불구하고 대조적 자기지도 학습에서 왜 차원 붕괴가 발생하는가?
• RQ2 강화된 증강과 모델 다이나믹스가 어떻게 저랭크 임베딩 공간을 유도하는가?
• RQ3 다운스트림 성능을 유지하거나 향상시키는 프로젝터-free 대조 방법을 설계할 수 있는가?
• RQ4 학습 가능한 프로젝터를 갖춘 기존 SimCLR과 비교하여 ImageNet에서 DirectCLR은 어떠한가?

주요 결과

방법	프로젝터	Top-1 정확도
SimCLR	no projector	51.5
SimCLR	trainable linear projector	61.1
DirectCLR	no projector	62.7

• 임베딩이 전체 공간이 아니라 더 낮은 차원의 부분공간을 차지할 때 대조 학습에서 차원 붕괴가 발생한다.
• 강력한 증강은 가중치 행렬의 동역학을 통해 임베딩 공간을 저랭크로 몰아넣을 수 있다.
• 과다 매개변수화된 네트워크에서의 암시적 규제도 저랭크 임베딩 해법을 만들어 차원 붕괴에 기여한다.
• 정보NCE로 표현의 부분 벡터를 최적화하는 프로젝터 없는 DirectCLR은 ImageNet에서 선형 프로젝터가 있는 SimCLR과 일치하거나 이를 상회한다.
• DirectCLR 실험에서 ImageNet(100에폭, ResNet50 백본)에서 선형 탐침 정확도 62.7%로, 훈련 가능한 선형 프로젝터를 가진 SimCLR의 61.1%에 비해 높다.
• 프로젝터는 효과적으로 대각 혹은 저랭크로 모델링될 수 있으며, 표현 공간의 직접 최적화가 실행 가능하다는 아이디어를 뒷받침한다.