[논문 리뷰] Evaluating Self-Supervised Pretraining Without Using Labels

Colorado Reed, Sean L. Metzger외 3명|arXiv (Cornell University)|2020. 09. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 6

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 최적의 증강 정책을 선택하기 위해 이미지 회전 예측을 자기지도 학습 평가 지표로 사용하는 것을 제안한다. 다양한 설정에서 레이블이 없는 데이터를 사용한 자기지도 학습 표현 평가와 후속 지도 학습 정확도 사이에 높은 상관관계(>0.94 순위 상관관계)를 보이며, 레이블에 의존하지 않는 하이퍼파rameter 튜닝이 레이블 기반 방법과 유사한 성능을 달성할 수 있음을 입증한다.

ABSTRACT

A common practice in unsupervised representation learning is to use labeled data to evaluate the learned representations - oftentimes using the labels from the unlabeled training dataset. This supervised evaluation is then used to guide the training process, e.g. to select augmentation policies. However, supervised evaluations may not be possible when labeled data is difficult to obtain (such as medical imaging) or ambiguous to label (such as fashion categorization). This raises the question: is it possible to evaluate unsupervised models without using labeled data? Furthermore, is it possible to use this evaluation to make decisions about the training process, such as which augmentation policies to use? In this work, we show that the simple self-supervised evaluation task of image rotation prediction is highly correlated with the supervised performance of standard visual recognition tasks and datasets (rank correlation > 0.94). We establish this correlation across hundreds of augmentation policies and training schedules and show how this evaluation criteria can be used to automatically select augmentation policies without using labels. Despite not using any labeled data, these policies perform comparably with policies that were determined using supervised downstream tasks. Importantly, this work explores the idea of using unsupervised evaluation criteria to help both researchers and practitioners make decisions when training without labeled data.

연구 동기 및 목표

• 레이블이 없거나 확보하기 어려운 상황에서 자기지도 표현을 평가하는 데 도전하는 것.
• 비지도 평가 지표가 데이터 증강 정책 선택을 신뢰성 있게 이끌 수 있는지 조사하는 것.
• 회전 예측이 표현 학습에서 후속 성능의 대체 지표로 기능할 수 있는지 확인하는 것.
• 자기지도 학습 파이프라인에 대해 자동으로 레이블이 없는 하이퍼파rameter 검색을 가능하게 하는 것.

제안 방법

• 입력 이미지에 적용된 회전 각도를 예측하는 자기지도 학습 평가 과제로 이미지 회전 예측을 사용하는 것.
• 다양한 증강 정책을 사용해 여러 자기지도 모델을 훈련하고, 그들의 회전 예측 정확도를 측정하는 것.
• 표준 벤치마크에서 수백 개의 학습 설정에 걸쳐 회전 예측 성능과 후속 지도 학습 정확도 사이의 상관관계를 분석하는 것.
• 레이블에 접근하지 않고도 최적의 증강 정책을 선택하기 위해 회전 예측 점수를 대체 지표로 사용하는 것.
• 선택된 정책을 후속 작업에서 평가하여, 레이블 기반 선택 방법과의 성능을 검증하는 것.

실험 결과

연구 질문

• RQ1 회전 예측이 자기지도 표현 학습에서 후속 지도 학습 성능의 신뢰할 수 있는 대체 지표로 기능할 수 있는가?
• RQ2 다양한 증강 정책과 학습 스케줄링 설정에서 회전 예측 정확도와 후속 정확도 사이의 상관관계는 얼마나 강한가?
• RQ3 레이블에 접근할 수 없는 상황에서도 회전 예측을 사용해 최적의 데이터 증강 정책을 자동으로 선택할 수 있는가?
• RQ4 레이블 기반 선택 방법과 비교했을 때, 회전 예측을 통한 정책 선택이 유사한 성능을 달성하는가?

주요 결과

• 수백 개의 학습 설정에 걸쳐 회전 예측 성능과 후속 지도 학습 정확도 사이의 순위 상관관계가 0.94를 초과함을 확인함.
• 제안된 레이블이 없는 평가 방법은 지도 학습 작업을 통해 선택된 정책과 유사한 성능을 달성하는 증강 정책을 성공적으로 식별함.
• 레이블이 부족하거나 모호한 상황에서도 레이블이 없는 데이터가 필요 없이 효과적인 하이퍼파rameter 검색과 모델 선택이 가능함.
• 회전 예측과 후속 성능 사이의 상관관계는 다양한 데이터셋과 학습 스케줄링 설정에서 일관되게 유지됨.