[논문 리뷰] Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks

Linus Ericsson, Henry Gouk외 1명|arXiv (Cornell University)|2021. 11. 22.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 데이터 증강이 학습된 불변성의 형태를 결정함으로써 자기지도 학습 모델이 다양한 작업 간에 전이되는 이유를 분석하여 연구한다. 다양한 최종 작업은 서로 반대되는 불변성—공간적 vs. 외관적—을 요구하며, 이에 따라 특수화된 증강 기반으로 학습된 표현을 융합함으로써 다양한 작업에서 일관되고 최첨단 수준의 성능을 달성할 수 있음을 제안한다. 이는 표준 기본 증강 전략을 능가하는 성능을 보인다.

ABSTRACT

Self-supervised learning is a powerful paradigm for representation learning on unlabelled images. A wealth of effective new methods based on instance matching rely on data-augmentation to drive learning, and these have reached a rough agreement on an augmentation scheme that optimises popular recognition benchmarks. However, there is strong reason to suspect that different tasks in computer vision require features to encode different (in)variances, and therefore likely require different augmentation strategies. In this paper, we measure the invariances learned by contrastive methods and confirm that they do learn invariance to the augmentations used and further show that this invariance largely transfers to related real-world changes in pose and lighting. We show that learned invariances strongly affect downstream task performance and confirm that different downstream tasks benefit from polar opposite (in)variances, leading to performance loss when the standard augmentation strategy is used. Finally, we demonstrate that a simple fusion of representations with complementary invariances ensures wide transferability to all the diverse downstream tasks considered.

연구 동기 및 목표

• 데이터 증강이 학습된 불변성을 어떻게 형성하는지 분석함으로써 자기지도 학습 모델이 최종 작업 간에 일반화되는 이유를 이해하는 것.
• 다양한 시각 작업이 상호 모순되는 불변성(예: 공간적 vs. 외관적)을 요구하는지, 그리고 표준 증강 전략이 모든 작업에 최적화되어 있는지 조사하는 것.
• 특정 증강 유형(공간적 또는 외관적)으로 학습된 특수화된 표현이 특정 작업 유형에서 일반 목적 모델보다 뛰어난 성능을 보이는지 평가하는 것.
• 서로 보완적인 불변성을 지닌 표현을 융합함으로써 다양한 최종 작업에서 뛰어난 성능을 보이는 더 견고한 일반 목적 특징를 만들 수 있는지 탐색하는 것.

제안 방법

• 공간적 스타일 또는 외관적 스타일 증강만을 사용하여 대조적 자기지도 학습 모델(MoCo-v2+ResNet50)을 학습함으로써 각 증강 유형의 영향을 분리한다.
• 합성 및 실제 세계의 변환(예: 시점, 조명, 흐림)에 대한 불변성 측정을 통해 학습된 불변성이 훈련 증강을 초월해 일반화되는지 평가한다.
• 이미지 분류, 객체 검출, 관건 추정(예: 300W) 등 다양한 최종 작업 세트에서 표현 성능을 평가하여 작업 유형 간 성능을 비교한다.
• 공간적 및 외관 특화 모델에서 학습된 특징을 융합함(Spa+App)하고, 기본 모델과의 융합을 추가로 수행함(Def+Spa+App)으로써 통합된 고성능 표현을 생성한다.
• 모델 간 표현 품질을 공정하게 비교하기 위해 L2 정규화 선형 프로브에 대한 초모수 탐색을 수행한다.
• 확장된 ResNet50(×3) 기준 모델 및 3× Default 모델과의 비교를 통해 확장성과 성능 트레이드오프를 평가한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 모델은 합성 증강에서부터 실제 세계의 분포 이탈까지 일반화되는 불변성을 학습하는가?
• RQ2 공간적 불변성과 외관 불변성을 동시에 학습하는 데에 상충관계가 존재하는가? 최첨단 모델은 이러한 상충관계를 보이는가?
• RQ3 다양한 최종 작업은 공간적 민감성 또는 외관 강건성과 같은 서로 다른 유형의 불변성을 얼마나 유리하게 활용하는가?
• RQ4 다른 불변성에 특화된 표현을 융합하면 다양한 작업에서 일관된 높은 성능을 달성할 수 있는가?

주요 결과

• 공간적 스타일 증강으로 학습된 모델는 시점 및 공간 이동에 대한 불변성을 학습하며, 실제 세계의 시점 변화까지 일반화되며, 300W 관건 추정과 같은 공간 민감성 작업에서 뛰어난 성능을 보인다.
• 외관적 스타일 증강으로 학습된 모델는 조도, 색상, 흐림 변화에 대한 불변성을 학습하며, 객체 색상 추정과 같은 외관 강건성이 요구되는 작업에서 최고의 성능을 기록한다.
• 기본 증강 전략은 자세 관련 작업에서 성능이 열등하여, 이는 인식에 최적화되어 있으나 공간 민감성에 최적화되어 있지 않음을 시사한다.
• 공간 특화 및 외관 특화 모델에서 학습된 특징를 융합한(Spa+App) 표현은 모든 작업에서 뛰어난 성능을 보이며, 300W에서 기본 모델을 능가하고 일관된 성능 향상을 보였다.
• 세 가지 모델 융합(Def+Spa+App)은 가장 일관된 성능을 달성했으며, 자세 추정에서 확장된 3× ResNet50(×3) 모델조차도 능가했고, 분류 작업에서도 뛰어난 정확도를 유지했다.
• 결과적으로, 서로 보완적인 불변성에 특화된 표현에서 유도된 단일 통합 특징는 다양한 최종 시각 작업에 대해 견고하고 일반적인 목적의 표현을 제공함을 입증했다.