[논문 리뷰] No Free Lunch in Self Supervised Representation Learning

Ihab Bendidi, Adrien Bardes외 4명|arXiv (Cornell University)|2023. 04. 23.

Cell Image Analysis Techniques인용 수 9

한 줄 요약

이 논문은 자기지도 표현 학습(SSRL)에서 데이터 증강의 선택, 강도, 조합이 약한 감독의 한 형태로 작용하며 클래스 수준 결과와 다운스트림 작업에 편향을 주고 도메인 의존적 효과를 나타내며, 특히 도메인 전문 지식이 성능을 크게 향상시킬 수 있는 현미경 이미지에서 두드러진다.

ABSTRACT

Self-supervised representation learning in computer vision relies heavily on hand-crafted image transformations to learn meaningful and invariant features. However few extensive explorations of the impact of transformation design have been conducted in the literature. In particular, the dependence of downstream performances to transformation design has been established, but not studied in depth. In this work, we explore this relationship, its impact on a domain other than natural images, and show that designing the transformations can be viewed as a form of supervision. First, we demonstrate that not only do transformations have an effect on downstream performance and relevance of clustering, but also that each category in a supervised dataset can be impacted in a different way. Following this, we explore the impact of transformation design on microscopy images, a domain where the difference between classes is more subtle and fuzzy than in natural images. In this case, we observe a greater impact on downstream tasks performances. Finally, we demonstrate that transformation design can be leveraged as a form of supervision, as careful selection of these by a domain expert can lead to a drastic increase in performance on a given downstream task.

연구 동기 및 목표

• 변환 설계가 클래스 수준에서 SSRL 성능에 어떻게 영향을 미치는지 조사한다.
• 클러스터링 및 분류와 같은 다운스트림 작업에 대한 증강 선택의 영향을 평가한다.
• 자연 이미지와 현미경 이미지 간의 증강 효과 차이를 검토한다.
• 도메인 전문 지식이 있는 선택이 도전적인 영역에서 SSRL 성과를 현저히 개선할 수 있음을 보여준다.

제안 방법

• ResNet18을 사용한 CIFAR-10/100 및 ImageNet-100에서 일반 증강에 걸쳐 변환 강도(진폭 및 확률)를 체계적으로 변화시키고 SSRL에서
• 다양한 증강 하에서 여러 SSRL 방법(Barlow Twins, MoCo v2, BYOL, SimCLR, VICReg)을 학습한다.
• 다양한 증강하에서 클래스별 정확도 간의 상관관계를 통해 클래스 간 편향을 계산하고 클래스 수준 성능 변화를 정량화한다.
• MNIST에 대해 VGG 기반 인코더로 MoCo v2를 적용하여 서로 다른 변환 세트가 군집화 품질(Silhouette, AMI) 및 선형 평가에 어떤 영향을 미치는지 분석한다.
• 미세한 차이가 있는 세포 표현형의 AMI 기반 군집화에 증강 선택이 어떻게 영향을 미치는지 평가하기 위해 BBBC021v1의 현미경 이미지에 VGG13 및 MoCo v2를 적용한다.
• 생물학 데이터셋에서 도메인 전문가 증강 설계가 사전 학습된 감독 모델을 능가할 수 있음을 보여준다.

Figure 1: A t-SNE projection of the ten-class clustering of the MNIST dataset (LeCun et al., 1998 ) performed on two representations obtained from two self-supervised trainings of the same model using MoCo V2 (Chen et al., 2020b ) , with the sole distinction being the selection of transformations em

실험 결과

연구 질문

• RQ1 증강 강도나 구성을 다변시키면 SSRL 표현에서 클래스 간 편향이 유도되는가?
• RQ2 표준 벤치마크 전반에서 군집화 및 선형 평가와 같은 다운스트림 작업에 증강 선택이 어떤 영향을 미치는가?
• RQ3 특히 클래스 차이가 미묘한 현미경 이미지에서 증강의 도메인 특이적 효과가 있는가?
• RQ4 도메인 전문가의 증강 선택이 표준 사전 학습 모델을 넘어서는 SSRL 표현을 실제로 향상시킬 수 있는가?

주요 결과

• 증강 매개변수는 전체 정확도가 안정적으로 유지되더라도 클래스별 정확도에 의미 있는 변화를 유발할 수 있다.
• 특정 증강 매개변수에서 특정 클래스가 이익을 보거나 손해를 보며 클래스 간 편향을 나타낸다.
• 다른 다운스트림 작업(예: 군집화 vs. 선형 정확도)은 증강 설계와 구성에 다르게 반응한다.
• 현미경 데이터에서 변환 선택이 더 큰 영향을 미치며, 일부 증강 세트는 도전적인 구분에서 선행 학습된 ResNet101과 유사한 AMI 점수를 보인다.
• 도메인 전문가가 표현형의 군집화 및 다운스트림 구분에서 사전 학습 감독 모델을 능가하는 증강 조합을 만들 수 있다.

Figure 2: Inter-class accuracy results for Resnet18 architectures trained with various SSRL methods on the benchmark datasets Cifar10, Cifar100 and Imagenet100, as the parameters of different image transformations are varied. Each dot and associated error bar reflects the mean and standard deviation