[논문 리뷰] Understanding Self-supervised Learning with Dual Deep Networks

Yuandong Tian, Lantao Yu외 2명|arXiv (Cornell University)|2020. 10. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 35

한 줄 요약

본 논문은 이중 심층 ReLU 네트워크를 이용한 대비적 자기지도 학습이 공분산 연산자를 통해 초기 임의 선택성을 증폭시키고, 데이터 증강을 통해 계층적 특징의 발현을 가능하게 하는 이론적 프레임워크를 제시한다.

ABSTRACT

We propose a novel theoretical framework to understand contrastive self-supervised learning (SSL) methods that employ dual pairs of deep ReLU networks (e.g., SimCLR). First, we prove that in each SGD update of SimCLR with various loss functions, including simple contrastive loss, soft Triplet loss and InfoNCE loss, the weights at each layer are updated by a \emph{covariance operator} that specifically amplifies initial random selectivities that vary across data samples but survive averages over data augmentations. To further study what role the covariance operator plays and which features are learned in such a process, we model data generation and augmentation processes through a \emph{hierarchical latent tree model} (HLTM) and prove that the hidden neurons of deep ReLU networks can learn the latent variables in HLTM, despite the fact that the network receives \emph{no direct supervision} from these unobserved latent variables. This leads to a provable emergence of hierarchical features through the amplification of initially random selectivities through contrastive SSL. Extensive numerical studies justify our theoretical findings. Code is released in https://github.com/facebookresearch/luckmatters/tree/master/ssl.

연구 동기 및 목표

• 강한 분포 가정 없이 deep ReLU 네트워크를 이용한 SSL에 대한 엄밀한 이해를 고무한다.
• 데이터 증강을 거친 무작위 초기 선택성을 증폭시키는 공분산 연산자에 의해 이중 네트워크의 가중치 업데이트가 지배된다는 것을 보인다.
• 계층적 잠재 트리 모형하에서 숨겨진 뉴런이 직접적인 감독 없이도 잠재 변수를 학습한다는 것을 보여준다.
• SSL 역학을 student-teacher 프레임워크와 연결하고 지도 학습 분석과 비교한다.

제안 방법

• 이중 심층 ReLU 네트워크에서 제곱 L2 손실에 대한 기울기 표현식을 도출하고 각 계층의 업데이트를 지배하는 공분산 연산자를 확인한다.
• 아래에서 위로의 특징과 위에서 아래로의 야코비안(Jacobians)을 연결하는 연결 K_l(x)를 정의하고, 그 기울기를 K_l과 네트워크 가중치를 이용해 표현한다.
• 단순 대비 손실과 soft Triplet, InfoNCE 등과 같은 확장 손실 하에서 기울기 업데이트가 PSD 공분산 연산자의 고유 모드(eigenmodes)로 증폭됨을 보인다.
• 공분산 연산자를 데이터에 대한 증강 평균 기대값으로 형식화하여 데이터 분포와 증강에 의존함을 보인다.

실험 결과

연구 질문

• RQ1 이중 deep ReLU SSL 모델에서 기울기 업데이트가 데이터 증강 및 손실 함수에 어떻게 의존하는가?
• RQ2 공분산 연산자 프레임워크가 대비적 SSL 하에서 의미 있는 계층적 특징의 발현을 설명할 수 있는가?
• RQ3 데이터 생성 모델과 증강이 계층 전반에 걸쳐 학습 표현 형성에 어떤 역할을 하는가?
• RQ4 직접 감독이 없더라도 은닉 단위가 계층적 생성 모델의 잠재 변수와 정렬되는가?

주요 결과

• SimCLR 유사 이중 네트워크의 기울기 업데이트는 증강을 거친 데이터 포인트들 사이에서 초기 선택성을 증폭하는 PSD 공분산 연산자에 의해 지배된다.
• 이 증폭 메커니즘은 임의로 깊은 ReLU 네트워크의 모든 계층과 여러 손실 함수(simple contrastive, soft Triplet, InfoNCE)에서 작동한다.
• 계층적 잠재 트리 모형하에서 심층 ReLU 네트워크는 중간 계층에서 잠재 변수 표현을 직접 감독 없이 학습한다.
• 증강 평균 연결과 그들의 공분산이 대비적 SSL을 통해 계층적 특징의 발현을 촉진한다.
• L_simp에 대해 공분산 연산자는 잔여항이 없는 정확한 형태이며; L_tri^τ 및 L_nce^τ에서는 잔여 항 θ가 나타나지만 학습 중 수축할 것으로 기대되어 PSD 증폭을 보존한다.