[논문 리뷰] How Useful is Self-Supervised Pretraining for Visual Tasks?

Alejandro Newell, Jia Deng|arXiv (Cornell University)|2020. 03. 31.

Advanced Vision and Imaging참고 문헌 47인용 수 10

한 줄 요약

이 논문은 제어된 데이터 복잡성으로 구성된 합성 벤치마크를 사용하여 시각 작업에 대한 자기지도 사전학습의 실용적 유용성을 조사한다. 자기지도 방법은 저데이터 환경에서 가장 큰 이점을 제공하며, 레이블된 데이터가 증가함에 따라 유용성이 감소함을 발견하였다—일반적으로 기준 모델이 최대 정확도에 도달하기 이르기 전에 포화 상태에 도달하며, 선형 평가 결과는 미세조정 성능을 잘 예측하지 못한다.

ABSTRACT

Recent advances have spurred incredible progress in self-supervised pretraining for vision. We investigate what factors may play a role in the utility of these pretraining methods for practitioners. To do this, we evaluate various self-supervised algorithms across a comprehensive array of synthetic datasets and downstream tasks. We prepare a suite of synthetic data that enables an endless supply of annotated images as well as full control over dataset difficulty. Our experiments offer insights into how the utility of self-supervision changes as the number of available labels grows as well as how the utility changes as a function of the downstream task and the properties of the training data. We also find that linear evaluation does not correlate with finetuning performance. Code and data is available at \href{https://www.github.com/princeton-vl/selfstudy}{github.com/princeton-vl/selfstudy}.

연구 동기 및 목표

• 다양한 시각 작업과 데이터 환경에서 자기지도 사전학습의 실제 유용성을 평가하기 위해.
• 데이터셋 난이도, 모델 크기, 다운스트림 작업 유형 등의 요인이 사전학습 유용성에 미치는 영향을 조사하기 위해.
• 자기지도 학습에서 미세조정 성능을 대체로 선형 평가를 사용하는 일반적인 관행을 도전하기 위해.
• 기존의 ImageNet 기반 비교 외에 자기지도 방법을 평가하기 위한 체계적인 벤치마크를 제공하기 위해.
• 동일한 정확도를 달성하기 위해 필요한 레이블 예산을 줄이는 데서 자기지도의 레이블 효율성 향상을 정량화하기 위해.

제안 방법

• 데이터 복잡성(색상, 무늬, 시점 등)을 완전히 제어할 수 있는 합성 데이터셋 세트를 구축하여 무한한 레이블된 예제를 확보하였다.
• 분류, 세그멘테이션, 깊이 추정 작업 전반에 걸쳐 최신 자기지도 방법들(AMDIM, CMC, Rotation, VAE)을 평가하였다.
• 미세조정된 모델 정확도에 도달하기 위해 추가로 필요한 레이블 수의 비율을 유용성 지표로 정의하여 레이블 절감 효과를 정량적으로 비교할 수 있도록 하였다.
• 미세조정 성능과 선형 평가를 비교하였으며, 네트워크 블록의 다양한 부분을 고정하여 미세조정 범위에 대한 민감도를 평가하였다.
• 모델 용량이 사전학습 유용성에 미치는 영향을 분석하기 위해 ResNet9와 ResNet50 백본을 사용하였다.
• 다양한 양의 레이블된 데이터를 사용하여 성능 변화를 분석하고, 데이터 스케일이 증가함에 따라 유용성 감쇠 현상을 분석하였다.

실험 결과

연구 질문

• RQ1 가용한 레이블 예제 수가 증가함에 따라 자기지도 사전학습의 유용성은 어떻게 변화하는가?
• RQ2 자기지도 학습에서 선형 평가 결과는 다운스트림 미세조정 성능과 상관관계가 있는가?
• RQ3 모델 크기는 자기지도 사전학습의 유용성에 어떤 영향을 미치는가?
• RQ4 데이터 복잡성(예: 무늬, 시점 변화 등)은 자기지도 방법의 효과성에 어떤 영향을 미치는가?
• RQ5 다양한 다운스트림 작업과 데이터 구성에서 자기지도 방법의 성능 순위가 일관되게 나타나는가?

주요 결과

• 자기지도 사전학습은 저데이터 환경에서 가장 큰 이점을 제공하며, 레이블된 데이터가 증가함에 따라 유용성이 감소한다—일반적으로 기준 모델이 최대 정확도에 도달하기 이르기 전에 포화 상태에 도달한다.
• 실험 전반에서 가장 흔한 결과는 자기지도 모델이 성능 포화에 도달하기 전에 기준 모델과 동일한 정확도에 도달하는 것이며, 이는 더 이상 추가 데이터로 레이블 절감 효과를 얻을 수 없음을 의미한다.
• 선형 평가 결과는 미세조정 성능와 상관관계가 없으며, 예를 들어 AMDIM은 선형 정확도가 가장 높았지만 미세조정에서의 유용성은 가장 낮았다.
• 더 큰 모델(ResNet50)은 더 작은 모델(ResNet9)보다 더 높은 유용성을 보이며, 이는 기준 성능 향상과 더불어 미세조정 시 성능 향상도 더 크기 때문이다.
• 자기지도 학습은 더 복잡한 데이터(예: 무작위 무늬 또는 시점 변화가 있는 경우)에서 더 효과적이며, 특히 비어垒성 변환을 무시하도록 학습하는 대비 방법에서 두드러진다.
• 네트워크의 더 많은 레이어를 고정할수록 성능이 떨어지며, 선형 평가 정확도가 높은 모델일수록 고정 시 성능 저하가 더 심각하다. 이는 선형 평가가 미세조정 유용성의 좋은 대체 지표가 되지 못한다는 것을 시사한다.