[논문 리뷰] Boosting Supervision with Self-Supervision for Few-shot Learning

Jong-Chyi Su, Subhransu Maji외 1명|arXiv (Cornell University)|2019. 06. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 5

한 줄 요약

이 논문은 소규모 레이블이 부여된 데이터셋에서 훈련하는 동안 자기지도 학습을 보조 과제로 사용하여, 소수의 예제 학습에서 특징의 전이 능력을 향상시키는 것을 제안한다. 데이터셋 내 이미지를 활용해 조각 맞추기 퍼즐이나 회전 예측과 같은 사전 과제를 만들면, 메타-학습 기준에서 상대 오차를 5–25% 감소시키고, 특히 도전적이거나 손상된 입력에서 표준 분류 성능을 향상시킨다.

ABSTRACT

We present a technique to improve the transferability of deep representations learned on small labeled datasets by introducing self-supervised tasks as auxiliary loss functions. While recent approaches for self-supervised learning have shown the benefits of training on large unlabeled datasets, we find improvements in generalization even on small datasets and when combined with strong supervision. Learning representations with self-supervised losses reduces the relative error rate of a state-of-the-art meta-learner by 5-25% on several few-shot learning benchmarks, as well as off-the-shelf deep networks on standard classification tasks when training from scratch. We find the benefits of self-supervision increase with the difficulty of the task. Our approach utilizes the images within the dataset to construct self-supervised losses and hence is an effective way of learning transferable representations without relying on any external training data.

연구 동기 및 목표

• 소수의 예제 학습에서 소규모 레이블이 부여된 데이터셋에서 학습된 딥 표현의 전이 능력을 향상시키는 것.
• 외부 레이블이 없는 비정규화된 데이터셋에 의존하지 않고도 자기지도 학습이 일반화 능력을 향상시킬 수 있는지 조사하는 것.
• 자기지도 학습이 메타-학습 및 표준 분류 과제에 미치는 영향을 평가하는 것.
• 자기지도 학습 손실이 과적합을 줄이고 낮은 해상도 또는 Grayscale 이미지와 같은 도전적인 입력에서의 강건성을 향상시키는지 이해하는 것.

제안 방법

• 훈련 데이터셋의 이미지만을 사용하여 조각 맞추기 퍼즐 해결 및 이미지 회전 예측과 같은 자기지도 사전 과제를 도입한다.
• 표준 교차 엔트로피 손실과 보조 자기지도 손실을 결합한 다중 과제 목적 함수로 딥 네트워크를 훈련시킨다.
• 외부 데이터 없이 소수의 예제 메타-학습(예: ProtoNets)과 표준 분류(예: ResNet18)에 동일한 방법을 적용한다.
• 특징 중요도를 분석하고 모델 행동을 해석하기 위해 시각화 지도를 사용하며, 특히 전경 대 배경 주의의 차이를 중점적으로 분석한다.
• 표준 소수의 예제 벤치마크(예: miniImageNet, CIFAR-FS)와 표준 데이터셋(예: CUB-200, Cars, Aircrafts, Dogs, Flowers)을 사용해 평가한다.
• 기울기를 기반으로 한 시각화 지도를 사용해 예측에 가장 기여하는 이미지 영역을 시각화하고, 자기지도 학습이 있는 모델과 없는 모델을 비교한다.

실험 결과

연구 질문

• RQ1 외부 데이터 없이 소규모 내부 데이터셋에서만 자기지도 학습을 적용할 경우, 소수의 예제 일반화 능력이 향상되는가?
• RQ2 과제의 난이도가 증가할수록(예: 클래스 수가 많거나 이미지 품질이 떨어질 경우) 자기지도 학습의 이점이 증가하는가?
• RQ3 자기지도 학습은 전경 대 배경 영역에 대한 주의의 특징 학습에 어떻게 영향을 미치는가?
• RQ4 자기지도 학습 손실은 표준 분류 과제에서 딥 네트워크를 처음부터 훈련시킬 때 성능 향상에 기여하는가?

주요 결과

• 조각 맞추기 퍼즐 또는 회전 예측을 보조 과제로 추가함으로써 최신 메타-학습 기반 모델의 상대 오차율이 소수의 예제 벤치마크에서 5–25% 감소했다.
• 5-way 5-shot miniImageNet에서, 조각 맞추기 손실을 적용한 ProtoNet은 85.40%의 정확도를 기록했고, 표준 ProtoNet의 82.24%보다 3.16% 높은 성능을 보였다.
• 20-way 5-shot에서, 조각 맞추기로 강화된 ProtoNet은 기준 모델의 86.08%에서 87.59%로 상승하여 1.74%의 절대적 향상을 달성했다.
• 표준 분류 과제에서는 자기지도 학습이 CUB-200, Cars, Aircrafts, Dogs, Flowers 등 모든 다섯 개의 데이터셋에서 ResNet18의 정확도를 향상시켰으며, 특히 새 데이터셋에서는 4.1% 향상되고 자동차 데이터셋에서는 3.1% 향상되었다.
• 손상된 입력(예: Grayscale 또는 저해상도)에서는 자기지도 학습의 성능 향상이 더 크게 나타나, 더 어려운 과제에서 더 강력한 이점이 있음을 시사한다.
• 시각화 지도 분석 결과, 자기지도 학습을 통해 훈련된 모델은 배경의 혼잡함에 더 적게 의존하고 전경 객체에 더 집중하는 경향을 보였으며, 이는 부적절한 상관관계에 의존하는 것을 줄였음을 시사한다.