[논문 리뷰] Understanding self-supervised Learning Dynamics without Contrastive Pairs

Yuandong Tian, Xinlei Chen외 1명|arXiv (Cornell University)|2021. 02. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 35

한 줄 요약

본 연구는 간단한 선형 모델을 사용하여 비대조적 SSL의 비선형 역학을 분석하고 이론을 도출하며, Gradient 학습 없이 예측기 가중치를 설정하는 DirectPred를 도입한다.

ABSTRACT

While contrastive approaches of self-supervised learning (SSL) learn representations by minimizing the distance between two augmented views of the same data point (positive pairs) and maximizing views from different data points (negative pairs), recent \emph{non-contrastive} SSL (e.g., BYOL and SimSiam) show remarkable performance {\it without} negative pairs, with an extra learnable predictor and a stop-gradient operation. A fundamental question arises: why do these methods not collapse into trivial representations? We answer this question via a simple theoretical study and propose a novel approach, DirectPred, that \emph{directly} sets the linear predictor based on the statistics of its inputs, without gradient training. On ImageNet, it performs comparably with more complex two-layer non-linear predictors that employ BatchNorm and outperforms a linear predictor by $2.5\%$ in 300-epoch training (and $5\%$ in 60-epoch). DirectPred is motivated by our theoretical study of the nonlinear learning dynamics of non-contrastive SSL in simple linear networks. Our study yields conceptual insights into how non-contrastive SSL methods learn, how they avoid representational collapse, and how multiple factors, like predictor networks, stop-gradients, exponential moving averages, and weight decay all come into play. Our simple theory recapitulates the results of real-world ablation studies in both STL-10 and ImageNet. Code is released https://github.com/facebookresearch/luckmatters/tree/master/ssl.

연구 동기 및 목표

• 비대조(Non-contrastive) SSL이 왜 붕괴를 피하고 의미 있는 표현을 학습하는지 설명한다.
• EMA, 예측기 학습률, 및 가중치 감소가 학습 역학을 어떻게 형성하는지 정량화한다.
• 경험적 Ablation을 반영하는 해석 가능한 선형 이론 프레임워크를 개발한다.
• 그래디언트 기반의 예측기 학습을 우회하는 DirectPred를 제안하고 표준 예측기와 비교한다.

제안 방법

• 온라인, 타깃 및 예측기 네트워크를 포함하는 두-layer 선형 BYOL 모델을 형식화한다.
• 가중치 감소 및 stop-gradient 효과를 포함한 W, W_p, W_a의 그래디언트 흐름 역학을 도출한다.
• 예측기와 온라인 가중치 간의 불변 균형(Invariance Balance, Theorem 1)과 stop-gradient의 필요성(Theorem 2)을 증명한다.
• 예측기 W_p와 입력 상관 F 간의 고유공간 정렬(Eigenspace Alignment, Theorem 3)을 보이고 분리된 모드 역학을 도출한다.
• 예측기 입력의 PCA로 DirectPred를 도입하고 고유구조에서 W_p를 설정한다(Equation 18).

실험 결과

연구 질문

• RQ1 EMA/모멘텀, 예측기 상대 학습률, 가중치 감소가 비대조 SSL 역학에서 어떤 역할을 하는가?
• RQ2 어떤 조건에서 비대조 SSL이 표현 붕괴를 피할 수 있는가?
• RQ3 예측기 아키텍처, stop-gradient, 그리고 EMA가 다운스트림 성능에 어떤 상호작용을 미치는가?
• RQ4 DirectPred와 같은 그래디언트-free 예측기가 표준 벤치마크에서 그래디언트 기반 예측기와 맞먹거나 이를 능가할 수 있는가?

주요 결과

• 가중치 감소는 예측기와 온라인 네트워크 간의 균형을 촉진하여 붕괴되지 않는 학습에 도움을 준다.
• stop-gradient 신호는 필수적이며 이를 제거하면 표현 붕괴로 이어질 수 있다.
• 예측기와 온라인 특징 공분산 간의 고유공간 정렬이 분리된 모드 역학을 지배한다.
• EMA는 자동 커리큘럼처럼 작용하여 달성 가능한 타깃을 점진적으로 높이고 훈련을 안정시킨다.
• 입력의 PCA로 DirectPred를 사용해 W_p를 설정하는 방식은 STL-10 및 CIFAR/ImageNet 벤치마크에서 그래디언트 기반 선형 예측기와 동등하거나 이를 능가한다; ImageNet(300 epochs)에서 72.4% Top-1 / 91.0% Top-5를 달성하여 BYOL의 선형 예측기(69.9% / 89.6%)보다 약 2.5 포인트 높다.
• 분리 모드에서 불변 포물선 s_j = (1/α_p) p_j^2가 장기 거동을 지배하며, 가중치 감소가 이 곡면을 따라 수렴하도록 보장한다.