[논문 리뷰] The Hidden Uniform Cluster Prior in Self-Supervised Learning

Mahmoud Assran, Randall Balestriero외 7명|arXiv (Cornell University)|2022. 10. 13.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 SimCLR, VICReg, SwAV, MSN와 같은 자기지도 학습 방법들에 숨겨진 균일한 클러스터 사전정보를 규명하며, 이는 모델이 균일한 크기의 클러스터를 학습하도록 유도하는 경향을 가짐을 보여준다. 저자들은 이러한 사전정보가 클래스 불균형 데이터셋에서 성능을 저하시킨다고 밝히며, 자연스러운 데이터 분포와 일치하는 힘의 법칙 분포 클러스터 사전정보로 대체하는 Prior Matching for Siamese Networks (PMSN)를 제안한다. 이는 iNaturalist 2018과 같은 장꼬리 데이터셋에서 표현 품질과 전이 성능을 크게 향상시킨다.

ABSTRACT

A successful paradigm in representation learning is to perform self-supervised pretraining using tasks based on mini-batch statistics (e.g., SimCLR, VICReg, SwAV, MSN). We show that in the formulation of all these methods is an overlooked prior to learn features that enable uniform clustering of the data. While this prior has led to remarkably semantic representations when pretraining on class-balanced data, such as ImageNet, we demonstrate that it can hamper performance when pretraining on class-imbalanced data. By moving away from conventional uniformity priors and instead preferring power-law distributed feature clusters, we show that one can improve the quality of the learned representations on real-world class-imbalanced datasets. To demonstrate this, we develop an extension of the Masked Siamese Networks (MSN) method to support the use of arbitrary features priors.

연구 동기 및 목표

• 자기지도 학습 방법이 특징의 균일한 클러스터링을 향한 암묵적 편향을 가지는지 조사하는 것.
• 이러한 방법들이 iNaturalist 2018와 같은 실제 세계의 클래스 불균형 데이터셋에서 성능이 떨어지는 이유를 설명하는 것.
• 자연스러운 데이터 분포와 일치하는 힘의 법칙 분포 클러스터 사전정보로 균일성 사전정보를 대체하는 방법을 개발하는 것.
• 장꼬리 데이터셋에서 표현 품질과 후속 작업 전이 성능이 향상됨을 입증하는 것.

제안 방법

• 이론적 분석을 통해 SimCLR, VICReg, SwAV, MSN와 같은 방법에 포함된 부피 최대화 정규화 항이 암묵적으로 균일한 클러스터 사전정보를 강제함을 보여준다.
• 저자들은 마스크된 시아모닉 네트워크(MSN)를 확장하여 임의의 특징 사전정보를 지원하도록 하며, 시아모닉 네트워크를 위한 Prior Matching (PMSN)를 도입한다.
• PMSN는 자기지도 학습 기준을 재구성하여, 힘의 법칙 분포를 따르는 클러스터를 선호하도록 하여 실제 세계 데이터의 장꼬리 개념 분포와 일치시킨다.
• 이 방법은 학습 가능한 사전정보를 사용하는 대비 목표를 활용하여, 자연스러운 클래스 분포를 반영하는 방식으로 클러스터링을 장려한다.
• 실험에서는 장꼬리 데이터셋에서 PMSN를 표준 MSN 및 기타 자기지도 학습 방법과 비교하며, 후속 작업 전이 성능을 평가한다.
• 선형 평가, 저샷 학습, RCDM를 이용한 이미지 복원을 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 현재 자기지도 학습 방법들이 부피 최대화 정규화 항을 갖는 경우에 암묵적으로 나타나는 유도 편향은 무엇인가?
• RQ2 이러한 방법들이 클래스 불균형 데이터셋에서 사전 훈련을 수행할 경우 성능이 떨어지는 이유는 무엇인가?
• RQ3 균일한 클러스터 사전정보를 힘의 법칙 분포 클러스터 사전정보로 대체하면 장꼬리 데이터에서 표현 품질이 향상되는가?
• RQ4 PMSN의 성능은 실제 세계의 불균형 데이터셋에서 표준 MSN 및 기타 자기지도 학습 방법과 비교해 어떻게 되는가?

주요 결과

• SimCLR, VICReg, MSN와 같은 방법들에서 나타나는 균일한 클러스터 사전정보는 클래스 불균형 데이터에서 성능 저하를 야기하며, 특히 미니배치가 클래스 균형을 이루지 않을 경우 심각한 성능 저하를 초래한다.
• iNaturalist 2018 데이터셋에서, 힘의 법칙 사전정보를 사용하는 PMSN는 표준 MSN 및 기타 기준 모델들을 능가하며 더 높은 선형 평가 정확도를 달성한다.
• 불균형 샘플링 조건 하에서 저샷 ImageNet 평가에서, PMSN는 힘의 법칙 사전정보를 사용해 28.0%의 정확도를 기록했으며, 표준 MSN의 59.4%에 비해 31.4점 향상된 성능을 보였다.
• 1% 데이터로 훈련한 CIFAR100에서, MSN는 불균형 샘플링 조건에서 정확도가 46.2%에서 26.4%로 떨어지며 19.8점 감소했으며, 이는 균일성 사전정보의 데이터 불균형에 대한 민감도를 보여준다.
• data2vec 및 MAE와 같은 방법들은 불균형 샘플링 조건에서도 성능 저하가 최소한이었으며, 이는 균일성 편향에 덜 민감함을 시사한다.
• RCDM를 이용한 시각화 결과, PMSN는 더 의미 있는 프로토타입을 학습하며, 클러스터 임베딩에서 더 명확한 이미지 복원을 가능하게 한다.