[논문 리뷰] Whitening for Self-Supervised Representation Learning

Aleksandr Ermolov, Aliaksandr Siarohin외 2명|arXiv (Cornell University)|2020. 07. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 43

한 줄 요약

전체 특징 화이트닝을 활용해 구형 잠재 분포를 강제하고 음수 샘플에 의존하지 않으며 양성 쌍만으로 학습하는 자기지도 손실(W-MSE)을 제안한다.

ABSTRACT

Most of the current self-supervised representation learning (SSL) methods are based on the contrastive loss and the instance-discrimination task, where augmented versions of the same image instance ("positives") are contrasted with instances extracted from other images ("negatives"). For the learning to be effective, many negatives should be compared with a positive pair, which is computationally demanding. In this paper, we propose a different direction and a new loss function for SSL, which is based on the whitening of the latent-space features. The whitening operation has a "scattering" effect on the batch samples, avoiding degenerate solutions where all the sample representations collapse to a single point. Our solution does not require asymmetric networks and it is conceptually simple. Moreover, since negatives are not needed, we can extract multiple positive pairs from the same image instance. The source code of the method and of all the experiments is available at: https://github.com/htdt/self-supervised.

연구 동기 및 목표

• 자기지도 학습(SSL)에서 큰 음의 샘플 세트에 대한 의존도를 줄이고자 하는 동기를 제시한다.
• 비퇴화되지 않는 구형 잠재 표현을 생성하는 화이트닝 기반 손실을 도입한다.
• 하나의 이미지에서 다중 양성 쌍을 활용하여 SSL 신호를 개선하도록 한다.
• 표준 벤치마크에서 W-MSE가 최신 SSL 방법들과 경쟁력을 보임을 보여준다.

제안 방법

• 배치 특징을 화이트닝한 후 양성 간 간격을 최소화하는 화이트닝 MSE(W-MSE) 손실을 정의한다.
• 백본 특징을 잠재 공간으로 투영하고, 화이트닝 변환을 적용해 구형 분포(평균 0, 공분산 항등행렬)를 얻고, 정규화된 양성 쌍에 대해 MSE를 계산한다.
• 배치 수준의 화이트닝을 사용하고 평균 중심화와 W^T W = Sigma^{-1}를 만족하는 화이트닝 행렬 W를 적용한다( Sigma는 배치 공분산이다).
• 표준 증강을 통해 같은 이미지에서 다중 양성 샘플을 수집하고, d개의 양성 간 모든 쌍을 계산한다.
• Whitening을 안정화하기 위해 배치 슬라이싱을 사용하고, 하위 배치에서 whitening을 계산한 후 여러 반복에 걸쳐 결과를 평균화한다.

실험 결과

연구 질문

• RQ1 잠재 특징의 화이트닝이 음수 샘플이나 비대칭 네트워크를 사용하지 않고 표현 붕괴를 피할 수 있는가?
• RQ2 표준 벤치마크에서 대조학 학습 및 다른 최첨단 SSL 손실들과 비교하여 화이트닝 기반 SSL 손실의 성능은 어떠한가?
• RQ3 같은 이미지에서 다중 양성 샘플을 활용하는 것이 W-MSE로 SSL 성능을 향상시키는가?
• RQ4 SSL 학습에서 화이트닝을 안정화하기 위한 실제 고려사항(예: 배치 슬라이싱)은 무엇인가?

주요 결과

• W-MSE는 다양한 설정에서 CIFAR-10, CIFAR-100, STL-10, Tiny ImageNet, ImageNet-100, ImageNet 전반에 걸쳐 최신 SSL 방법과 지속적으로 경쟁력을 보인다.
• 양성 네 개(W-MSE 4)를 사용하는 것이 일반적으로 두 개(W-MSE 2)를 사용하는 것보다 정확도가 더 좋다.
• 이 방법은 음수 샘플이나 모멘텀 네트워크 없이도 강한 선형 및 k-NN 분류 성능을 달성하며, BYOL과 같은 경쟁 방법들보다 더 빨리 워밍업된다.
• 화이트닝만으로는 대조 손실과 결합될 때 SSL이 개선되지 않으며, 대조 학습에 효과적이려면 여전히 음수 샘플이 필요하다.
• W-MSE 4는 100에폭짜리 ImageNet 스타일 평가에서 최첨단 성능에 도달하며, 더 간단한 구성으로도 더 긴 학습 기간과 거의 동등한 성능을 보인다.