[논문 리뷰] Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss

Jeff Z. HaoChen, Colin Wei외 2명|arXiv (Cornell University)|2021. 06. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 36

한 줄 요약

이 논문은 증강 그래프에 기반한 spectral contrastive loss를 도입하여 조건부 독립성 가정을 두지 않고 자기 감독 학습을 분석하고, 하류 선형 탐침 보장과 경쟁력 있는 경험적 성능을 보여준다.

ABSTRACT

Recent works in self-supervised learning have advanced the state-of-the-art by relying on the contrastive learning paradigm, which learns representations by pushing positive pairs, or similar examples from the same class, closer together while keeping negative pairs far apart. Despite the empirical successes, theoretical foundations are limited -- prior analyses assume conditional independence of the positive pairs given the same class label, but recent empirical applications use heavily correlated positive pairs (i.e., data augmentations of the same image). Our work analyzes contrastive learning without assuming conditional independence of positive pairs using a novel concept of the augmentation graph on data. Edges in this graph connect augmentations of the same data, and ground-truth classes naturally form connected sub-graphs. We propose a loss that performs spectral decomposition on the population augmentation graph and can be succinctly written as a contrastive learning objective on neural net representations. Minimizing this objective leads to features with provable accuracy guarantees under linear probe evaluation. By standard generalization bounds, these accuracy guarantees also hold when minimizing the training contrastive loss. Empirically, the features learned by our objective can match or outperform several strong baselines on benchmark vision datasets. In all, this work provides the first provable analysis for contrastive learning where guarantees for linear probe evaluation can apply to realistic empirical settings.

연구 동기 및 목표

• 같은 이미지의 증강으로 형성된 양성 쌍이 매우 상관된 경우에도 왜 자기 감독 대조 학습이 작동하는지 이해를 돕는다.
• 다음 목적을 달성하기 위해 population augmentation graph와 spectral decomposition 프레임워크를 도입하여 실용적인 목적 함수를 정의한다.
• 현실적인 연결성 가정 아래에서 라벨이 없는 데이터로부터 학습된 표현에 대한 하류 선형 분류 보장을 증명한다.
• spectral contrastive loss를 신경망으로 최적화할 수 있으며 population으로부터 finite-sample 설정으로 일반화될 수 있음을 보인다.

제안 방법

• 모든 증강 데이터에 대해 edge 가중치를 자연 예제로부터의 증강의 주변 생성 확률로 두고 population augmentation graph를 정의한다.
• 증강 그래프의 스펙트럴 분해에 대응하는 population objective를 형식화하고, 이를 통해 population spectral contrastive loss를 도출한다.
• 고유벡터 기반의 목적을 신경 표현을 포함하는 tractable 손실로 재작성하여, 상수에 의해 등가적으로 contrastive와 유사한 목적과 동등함을 보인다.
• population spectral contrastive loss를 최소화하여 학습된 표현이 연결성 가정(과도하게 분리된 군집이 없는 경우)하에서 작은 linear-probe 오차를 얻는다는 것을 증명한다.
• 신경망을 통한 실증적 최적화가 표준 일반화 경계에 의해 population 보장을 확장한다고 주장한다.

실험 결과

연구 질문

• RQ1 양성 쌍 간의 조건부 독립성을 가정하지 않고도 대조 학습의 보장을 도출할 수 있는가?
• RQ2 증강 그래프 구조가 학습된 표현과 하류 작업을 위한 선형 분리에 어떤 영향을 미치는가?
• RQ3 다항 개수의 무라벨 샘플로도 스펙트럴-대조 목적이 작은 하류 오차를 보장하는 조건은 무엇인가?
• RQ4 한정된 데이터가 있는 실제 신경망에서 population spectral contrastive loss를 어떻게 구현하고 연구할 수 있는가?

주요 결과

• 증강-그래프 관점은 최소화가 의미 있는 고유벡터 기반 임베딩에 해당하는 spectral contrastive loss를 이끈다.
• 분리된 서브그래프의 수에 상한을 두면, 학습된 표현에 대한 선형 분류는 작은 오차를 달성한다.
• population 손실 보장은 표준 일반화 경계에 따라 무라벨 데이터의 요구가 모델 복잡도에 다항식으로 의존하는 한, 유한 샘플 학습으로의 전이를 보장한다.
• 경험적으로, 제안된 spectral contrastive loss는 선형 탐침으로 평가했을 때 벤치마크 영상 데이터셋에서 강력한 기준선과 비슷하거나 이를 능가한다.
• 이 접근법은 stop-gradient 트릭에 의존하지 않으며 기존 대조 방법과 여전히 경쟁력이 있다.