[논문 리뷰] Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning

Zixin Wen, Yuanzhi Li|arXiv (Cornell University)|2021. 05. 31.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 데이터 증강을 통한 대비 학습이 깊은 신경망이 유의미한 희소 특징을 학습하도록 하는 방식을 설명하기 위해 특징 분리 원칙을 도입한다. 이는 희소 신호와 잡음 간의 상관관계를 분리함으로써 이루어지며, 이는 유의미한 특징 학습을 가능하게 한다. 이론적으로, 적절한 증강(예: RandomMask)을 사용한 대비 학습을 통해 훈련된 ReLU 네트워크는 밀도 높은 잡음의 상관관계를 억제하면서도 희소 신호의 상관관계를 유지함으로써 효과적인 특징 학습이 가능하다는 것을 증명한다. 반면 증강이 없을 경우, 제어되지 않은 기울기 갱신으로 인해 네트워크는 잡음 특징으로 붕괴된다.

ABSTRACT

How can neural networks trained by contrastive learning extract features from the unlabeled data? Why does contrastive learning usually need much stronger data augmentations than supervised learning to ensure good representations? These questions involve both the optimization and statistical aspects of deep learning, but can hardly be answered by analyzing supervised learning, where the target functions are the highest pursuit. Indeed, in self-supervised learning, it is inevitable to relate to the optimization/generalization of neural networks to how they can encode the latent structures in the data, which we refer to as the feature learning process. In this work, we formally study how contrastive learning learns the feature representations for neural networks by analyzing its feature learning process. We consider the case where our data are comprised of two types of features: the more semantically aligned sparse features which we want to learn from, and the other dense features we want to avoid. Theoretically, we prove that contrastive learning using $\mathbf{ReLU}$ networks provably learns the desired sparse features if proper augmentations are adopted. We present an underlying principle called $ extbf{feature decoupling}$ to explain the effects of augmentations, where we theoretically characterize how augmentations can reduce the correlations of dense features between positive samples while keeping the correlations of sparse features intact, thereby forcing the neural networks to learn from the self-supervision of sparse features. Empirically, we verified that the feature decoupling principle matches the underlying mechanism of contrastive learning in practice.

연구 동기 및 목표

• 대비 학습이 유용한 표현을 학습하기 위해 감독 학습보다 더 강한 데이터 증강이 필요한 이유를 이해하는 것.
• 특히 데이터 증강이 신경망 최적화 역학에 미치는 영향을 분석함으로써 자기지도 대비 학습에서의 특징 학습 과정을 분석하는 것.
• 적절한 증강을 사용한 대비 학습이 신경망이 희소이고 의미 있는 특징을, 유사한 밀도 높은 잡음이 아닌 특징을 학습하도록 하는 원리를 체계화하고 증명하는 것.
• 데이터 증강이 표현 학습을 원하는 잠재적 구조로 이끌어내는 데서 수행하는 역할에 대한 이론적 기반을 확립하는 것.

제안 방법

• 저자는 입력 데이터를 희소 신호(Mz)와 밀도 높은 잡음(ξ)의 조합으로 모델링하며, ||z||₀ = Õ(1) 및 ||ξ||₂ = poly(d) ≫ ||Mz||₂ 를 만족한다.
• 저자는 증강이 있음과 없음에 따라 대비 목표함수를 사용해 훈련하는 일차원 히든 레이어 ReLU 네트워크를 분석한다.
• 저자는 랜덤 마스킹(RandmMask)이라는 데이터 증강 기법을 정의하며, 이는 입력 특징을 확률적으로 마스킹함으로써 양성 쌍 간의 밀도 높은 잡음 성분 간 상관관계를 감소시킨다.
• 핵심 메커니즘인 특징 분리 원칙은 양성 샘플 간의 밀도 높은 특징 상관관계를 감소시키면서도 희소 신호 상관관계를 유지하는 것으로 수식화된다.
• 이론적 분석은 ReLU 활성화와 기울기 갱신에 대한 기대값의 경계를 사용하여, 증강이 없을 경우 기울기 크기가 큰 잡음 성분에 의해 네트워크가 강하게 편향되어 높은 기울기 크기를 가지게 되어, 주로 잡음 특징을 학습한다는 것을 보여준다.
• 실험적 검증은 특징 시각화와 최종 다운스트림 선형 평가를 통해 수행되며, 증강이 적용된 경우 더 깔끔하고 의미적으로 일치하는 특징을 생성한다는 것을 확인한다.

실험 결과

연구 질문

• RQ1 왜 대비 학습은 데이터 증강이 없을 경우 의미 있는 특징을 학습하지 못하는가?
• RQ2 데이터 증강은 자기지도 대비 학습에서 신경망의 최적화 경로에 어떻게 영향을 미치는가?
• RQ3 대비 학습이 희소이고 의미 있는 특징에 집중할 수 있도록 하는 근본적인 원리는 무엇인가?
• RQ4 대비 학습이 원하는 특징을 성공적으로 학습할 수 있는 조건을 이론적으로 기술할 수 있는가?

주요 결과

• 증강이 없을 경우, 네트워크는 기울기 갱신이 높은 크기의 잡음 성분에 의해 강하게 편향되면서 주로 밀도 높은 잡음 특징을 학습하게 되어 붕괴된다.
• RandomMask와 같은 적절한 증강 기법을 사용할 경우, 네트워크는 밀도 높은 잡음 간의 상관관계를 줄이면서도 희소 신호 상관관계를 유지함으로써 희소 신호에 초점을 맞추게 된다.
• 특징 분리 원칙에 따라 이론적 분석을 통해, 증강이 적용된 경우 SGD로 훈련된 ReLU 네트워크가 원하는 희소 특징을 확실히 학습할 수 있음을 증명한다.
• 실험 결과는 특징 분리가 실제 메커니즘과 일치함을 확인한다: 증강된 대비 학습은 증강되지 않은 훈련보다 더 의미 있는 특징을 생성한다.
• 증강이 없는 훈련의 손실 함수는 느리게 감소하고 높은 수준을 유지하며, 이는 특징 공간에서 밀도 높은 잡음의 지배로 인해 표현 품질이 열 劣하다는 것을 시사한다.
• 증강이 없는 경우 학습된 표현은 다운스트림 선형 분류에 효과적이지 않으며, 특징과 잡음 벡터 간의 거의 완벽한 상관관계로 인해 선형 탐색에 무의미해진다.