[논문 리뷰] When Does Self-supervision Improve Few-shot Learning?

Jong-Chyi Su, Subhransu Maji외 1명|arXiv (Cornell University)|2019. 10. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 69인용 수 16

한 줄 요약

이 논문은 자기지도학습(self-supervised learning, SSL)이 다양한 도메인에서 레이블이 적은 데이터나 입력 품질이 떨어지는 상황에서도 소수의 예시(meta-learners) 학습 성능을 크게 향상시킨다는 것을 보여준다. 대규모 풀에서 도메인 내 레이블이 없는 이미지를 도메인 분류기로 선별함으로써, 외부 데이터나 추가 학습 없이도 데이타셋 내 이미지만 사용할 때보다 성능을 향상시켜 최대 27%의 상대 오차 감소를 달성한다.

ABSTRACT

We investigate the role of self-supervised learning (SSL) in the context of few-shot learning. Although recent research has shown the benefits of SSL on large unlabeled datasets, its utility on small datasets is relatively unexplored. We find that SSL reduces the relative error rate of few-shot meta-learners by 4%-27%, even when the datasets are small and only utilizing images within the datasets. The improvements are greater when the training set is smaller or the task is more challenging. Although the benefits of SSL may increase with larger training sets, we observe that SSL can hurt the performance when the distributions of images used for meta-learning and SSL are different. We conduct a systematic study by varying the degree of domain shift and analyzing the performance of several meta-learners on a multitude of domains. Based on this analysis we present a technique that automatically selects images for SSL from a large, generic pool of unlabeled images for a given dataset that provides further improvements.

연구 동기 및 목표

• 자신의 지도학습(SSL)이 레이블이 제한된 경우 소수의 예시 학습 성능을 향상시키는가를 조사한다.
• 자기지도학습 데이터와 메타학습 데이터 사이의 도메인 이동이 성능에 미치는 영향을 분석한다.
• 소수의 예시 설정에서 저자원 환경에서 자기지도학습을 위해 대규모 일반 풀에서 유용한 레이블이 없는 이미지를 선택할 수 있는 실용적인 방법을 개발한다.
• 다양한 도메인과 도메인 내에서 어려운 작업(예: 입력 품질이 떨어지는 경우)을 포함해 여러 메타학습자에서 자기지도학습의 효과를 평가한다.

제안 방법

• 공통 특징 백본을 정규화하기 위해, 메타학습자 학습 중 보조 자기지도학습 과제(예: 퍼즐 조립, 회전 예측)를 적용한다.
• ResNet-101 특징을 사용해 소스 도메인 데이터와 대규모 레이블이 없는 풀을 구분하는 이진 도메인 분류기를 훈련한다.
• 소스 도메인에 속할 확률의 비율을 기반으로 레이블이 없는 이미지를 선별하고, 도메인 이동을 최소화하기 위해 중요도 가중치를 사용한다.
• ProtoNet과 같은 소수의 예시 메타학습자를 훈련할 때 선택된 이미지를 자기지도학습에 사용하며, 다섯 개의 벤치마크 데이터셋에서 일관된 평가를 수행한다.
• 데이터셋 내 SSL, 대규모 풀에서 무작위 선택, 도메인 가중치 기반 선택, 원래 데이터셋의 80%를 사용한 오라클 기반 선택을 비교한다.
• 데이터셋 크기, 입력 품질(예: Grayscale, 저해상도) 및 도메인 이동을 변화시켜 영향을 분리하기 위해 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 레이블이 적은 소수의 예시 학습에서 자기지도학습이 성능을 향상시키는가?
• RQ2 자기지도학습 데이터와 소수의 예시 학습 데이터 사이의 도메인 이동이 성능에 어떤 영향을 미치는가?
• RQ3 대규모 일반 이미지 풀에서 자동으로 품질이 우수하고 도메인 내 레이블이 없는 이미지를 선별해 소수의 예시 학습에서 자기지도학습 성능을 향상시킬 수 있는가?
• RQ4 작은 학습 세트나 입력 품질이 떨어지는 경우와 같은 난이도가 높은 작업에서 자기지도학습의 이점이 증가하는가?
• RQ5 제안된 선택 방법이 무작위 선택과 데이터셋 내 이미지만 사용하는 것보다 성능이 뛰어나게 되는가?

주요 결과

• 자기지도학습은 소수의 예시 메타학습자의 상대 오차율을 4%에서 27%까지 감소시키며, SSL에 사용된 이미지가 동일한 데이터셋 내에서만 사용되더라도 성능 향상을 이룬다.
• 기본 학습 세트가 작거나 입력이 열악한 경우(예: Grayscale 또는 저해상도) 자기지도학습의 이점이 더 두드러지며, 이는 도전적인 소수의 예시 설정에서 더 높은 유용성을 보여준다.
• 도메인 외부에서 온 레이블이 없는 이미지를 추가하면 성능이 떨어지며, 도메인 이동이 메타학습자 정확도에 악영향을 미친다.
• 대규모 레이블이 없는 풀에서 무작위로 이미지를 선택하면 성능이 떨어지는 경우가 많으며, 특히 cars, dogs, flowers와 같은 데이터셋에서 두드러진다.
• 대규모 풀에서 도메인 내 이미지를 식별하기 위해 도메인 가중치 기반 선택을 사용하면, 모든 다섯 개의 평가된 데이터셋에서 무작위 선택과 데이터셋 내 SSL보다 성능이 뛰어나다.
• 제안된 방법은 원래 데이터셋의 80%를 사용한 오라클 성능에 매우 가까운 성능을 달성하여, 저자원 환경에서 강력한 실용적 유용성을 입증한다.