[논문 리뷰] Understanding self-supervised Learning Dynamics without Contrastive Pairs

Yuandong Tian, Xinlei Chen외 1명|arXiv (Cornell University)|2021. 02. 12.

Neural Networks and Applications인용 수 64

한 줄 요약

이 논문은 단순 선형 네트워크에서 비대조(Self-Supervised Learning, SSL)의 비선형 학습 역학을 분석하고, 핵심 특성들(가중치 감소의 균형, stop-gradient의 필요성, 고유공간 정렬)을 증명하며, 데이터를統계에서 직접 추정하여 예측자를 설정하는 DirectPred를 도입한다.

ABSTRACT

While contrastive approaches of self-supervised learning (SSL) learn representations by minimizing the distance between two augmented views of the same data point (positive pairs) and maximizing views from different data points (negative pairs), recent \\emph{non-contrastive} SSL (e.g., BYOL and SimSiam) show remarkable performance {\\it without} negative pairs, with an extra learnable predictor and a stop-gradient operation. A fundamental question arises: why do these methods not collapse into trivial representations? We answer this question via a simple theoretical study and propose a novel approach, DirectPred, that \\emph{directly} sets the linear predictor based on the statistics of its inputs, without gradient training. On ImageNet, it performs comparably with more complex two-layer non-linear predictors that employ BatchNorm and outperforms a linear predictor by $2.5\\%$ in 300-epoch training (and $5\\%$ in 60-epoch). DirectPred is motivated by our theoretical study of the nonlinear learning dynamics of non-contrastive SSL in simple linear networks. Our study yields conceptual insights into how non-contrastive SSL methods learn, how they avoid representational collapse, and how multiple factors, like predictor networks, stop-gradients, exponential moving averages, and weight decay all come into play. Our simple theory recapitulates the results of real-world ablation studies in both STL-10 and ImageNet. Code is released https://github.com/facebookresearch/luckmatters/tree/master/ssl.

연구 동기 및 목표

• 비대조 SSL 방법이 음수 샘플 없이도 붕괴를 피하는 이유를 설명한다.
• 예측기 네트워크, stop-gradients, EMA, 가중치 감소가 강력한 표현을 학습하는 방식의 상호 작용을 이해한다.
• 데이터세트 전반에서 BYOL/SimSiam의 경험적 제거 실험을 설명하는 해석적 예측을 제공한다.
• 이론에 정렬된 간단하고 최적화 없이 동작하는 예측기(DirectPred)를 제안한다.
• STL-10, CIFAR-10, ImageNet에서 이론적 통찰을 실험으로 검증한다.

제안 방법

• 비선형 학습 역학를 도출하기 위한 간단한 2층 선형 BYOL 모델을 개발한다.
• 증강과 가중치 감소 하에서 W, W_p, W_a에 대한 기울기 흐름 방정식을 도출한다.
• 가중치 감소가 예측기와 온라인 네트워크 간의 균형을 촉진함을 보인다(정리 1).
• stop-gradient가 붕괴를 피하는 데 필수적임을 보인다(정리 2).
• 예측기와 온라인 피처 공분산 간의 고유공간 정렬이 학습 과정에서 나타나 모드별 역학을 가능하게 함을 보인다(정리 3).
• 예측기 입력 통계에서 고유분해를 통해 W_p를 설정하는 DirectPred를 도입한다(식 18).

실험 결과

연구 질문

• RQ1 비대조 SSL 방법이 음수 샘플 없이 표현 붕괴를 피하는 이유는 무엇인가?
• RQ2 EMA, 예측기 학습률, 가중치 감소가 학습 역학을 어떻게 형성하는가?
• RQ3 예측기와 온라인 표현이 고유공간에서 정렬되는가? 어떤 조건에서 가능한가?
• RQ4 닫힌 형태의 최적화 없이도 예측기가 경쟁력 있는 성능을 달성할 수 있는가?
• RQ5 이론 주도적 통찰이 STL-10과 ImageNet의 경험적 제거실험을 얼마나 잘 설명하는가?

주요 결과

• 가중치 감소가 예측기와 온라인 네트워크 간의 균형을 촉진하여 학습된 표현에 대해 예측기 중심의 설명을 방지한다(정리 1).
• stop-gradient를 제거하면 표현 붕괴가 발생하며, stop-gradient의 필요성을 분석적으로 입증한다(정리 2).
• 학습 과정에서 예측기와 온라인 피처 공분산 간의 고유공간 정렬이 나타나 모드를 분리한 역학을 가능하게 한다(정리 3).
• EMA가 정렬 목표를 점진적으로 높이는 자동 커리큘럼으로 작용하여 안정적인 학습과 성능에 기여한다(정리 3 및 관련 분석과의 연결된 관찰).
• 입력 통계에서 설정되는 최적화 없이의 DirectPred가 그래디언트로 학습된 선형 예측기와 동등하거나 더 나은 성능을 보이며 ImageNet STL-10/CIFAR-10에서 강력한 결과를 달성한다(예: ImageNet 72.4/91.0 Top-1/Top-5 기 300 에폭; STL-10 및 ImageNet에서 상위 1% 증가, 60 에폭 기준).