[논문 리뷰] Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods

Randall Balestriero, Yann LeCun|arXiv (Cornell University)|2022. 05. 23.

Civil and Geotechnical Engineering Research인용 수 22

한 줄 요약

이 논문은 SSL 방법(VICReg, SimCLR, BarlowTwins)을 스펙트럴 임베딩 기법과 통합하고, 닫힌 형태의 표현과 네트워크 매개변수를 도출하며, 글로벌 대 로컬 스펙트럼 관점을 구분하는 원칙 기반 설계 지침을 제공합니다.

ABSTRACT

Self-Supervised Learning (SSL) surmises that inputs and pairwise positive relationships are enough to learn meaningful representations. Although SSL has recently reached a milestone: outperforming supervised methods in many modalities\dots the theoretical foundations are limited, method-specific, and fail to provide principled design guidelines to practitioners. In this paper, we propose a unifying framework under the helm of spectral manifold learning to address those limitations. Through the course of this study, we will rigorously demonstrate that VICReg, SimCLR, BarlowTwins et al. correspond to eponymous spectral methods such as Laplacian Eigenmaps, Multidimensional Scaling et al. This unification will then allow us to obtain (i) the closed-form optimal representation for each method, (ii) the closed-form optimal network parameters in the linear regime for each method, (iii) the impact of the pairwise relations used during training on each of those quantities and on downstream task performances, and most importantly, (iv) the first theoretical bridge between contrastive and non-contrastive methods towards global and local spectral embedding methods respectively, hinting at the benefits and limitations of each. For example, (i) if the pairwise relation is aligned with the downstream task, any SSL method can be employed successfully and will recover the supervised method, but in the low data regime, VICReg's invariance hyper-parameter should be high; (ii) if the pairwise relation is misaligned with the downstream task, VICReg with small invariance hyper-parameter should be preferred over SimCLR or BarlowTwins.

연구 동기 및 목표

• 자기지도학습(SSL) 방법을 스펙트럴 임베딩 이론과 통합한다.
• 관계 행렬 G가 주어졌을 때 SSL 손실의 닫힌 형태의 최적 표현을 도출한다.
• 선형 영역에서 SSL 손실에 대한 닫힌 형태의 최적 네트워크 매개변수를 얻는다.
• SSL 해가 글로벌 대 로컬 스펙트럴 임베딩 방법과 언제 정렬되는지 특성화한다.
• G 및 다운스트림 작업을 기반으로 SSL 목표와 하이퍼파라미터를 선택하는 실용적인 설계 지침을 제공한다.

제안 방법

• VICReg, SimCLR, BarlowTwins를 스펙트롤 임베딩 대응물(라플라시안 고유값 문제, MDS, CCA, LPP, LDA)에 매핑한다.
• 관계 행렬 G와 손실 하이퍼파라미터의 함수로서 SSL 손실의 닫힌 형태의 최적 표현 Z*를 도출한다.
• 선형 영역에서 SSL 손실에 대한 정확한 최적 선형 네트워크 매개변수를 계산한다.
• SSL 방법이 Z의 왼쪽 특이 벡터를 G의 왼쪽 특이 벡터와 정렬되도록 제약하는 반면, 오른쪽 특이 벡터는 제약하지 않는다는 것을 보인다.
• 랭크와 G 정보 반영을 제어하는 하이퍼파라미터(예: gamma/alpha)의 역할을 특성화한다.
• 제1원리로 도출된 SSL 목표의 분석적 연결과 잠재적 변형을 제공한다.

실험 결과

연구 질문

• RQ1 SSL 손실을 고전적 스펙트럴 임베딩 방법에 정확히 매핑할 수 있는가?
• RQ2 주어진 G에 대해 VICReg, SimCLR/NNCLR, BarlowTwins의 닫힌 형태의 최적 표현 Z*는 무엇인가?
• RQ3 하이퍼파라미터가 SSL 표현의 랭크와 정보 포착에 어떤 영향을 미치는가?
• RQ4 어떤 조건에서 SSL 표현이 다운스트림 작업 및 감독된 모델과 일치하는가?

주요 결과

• VICReg, SimCLR, BarlowTwins는 적절한 리짐 아래에서 Laplacian Eigenmaps, ISOMAP, CCA 등과 같은 스펙트럴 임베딩 방법에 해당한다.
• 최적 SSL 표현 Z*는 라플라시안의 조합으로부터 닫힌 형태로 얻어지며 명시적 스펙트럴 해석을 가능하게 한다(정리 1 및 관련 결과).
• 선형 영역에서 SSL 네트워크 매개변수 W*는 닫힌 형태의 표현을 가지며 네트워크가 어떤 입력 통계를 강조하는지 드러낸다.
• VICReg는 손실 하이퍼파라미터(gamma/alpha)를 조정하여 Z*를 전체랭크로 만들 수 있는 반면, SimCLR와 BarlowTwins는 rank(Z)=rank(G)를 강제하여 G 잘못 설정에 대한 서로 다른 강건성을 나타낸다.
• 대조적 방법은 글로벌 스펙트럴 임베딩과 정렬되며(전역 구조 보존에 초점을 맞춤), 비대조적 방법은 로컬 스펙트럴 임베딩과 정렬되어 로컬 매끄러움에 초점을 맞춘다.
• Z의 왼쪽 특이 벡터는 G의 왼쪽 특이 벡터와 일치하도록 제약되며, Y와의 오른쪽 스펙트럼 정렬이 주어지면 어떤 SSL 손실도 다운스트림 작업에 대한 최적 표현을 생성할 수 있다.