[논문 리뷰] Self-Supervised Prototypical Transfer Learning for Few-Shot Classification

Carlos Medina, Arnout Devos외 1명|arXiv (Cornell University)|2020. 06. 19.

Domain Adaptation and Few-Shot Learning인용 수 27

한 줄 요약

이 논문은 소수의 샘플로 분류하는 데에 적합한 자기지도적 원형 전이 학습 방법인 ProtoTransfer를 제안한다. 이 방법은 레이블이 없는 이미지와 그 증강된 버전들을 원형 중심 주위에 군집화함으로써 거리 임bedding을 사전 훈련한다. 이는 소수의 레이블을 사용함에도 불구하고, 미니-이미지넷에서 비지도 메타학습 방법 중 최고 성능을 기록하며, 대규모 사전 훈련과 매개변수 조정 가능한 미세조정을 통해 에피소드 기반 메타학습 없이도 지도 학습 방법과 경쟁 가능한 성능을 달성한다.

ABSTRACT

Most approaches in few-shot learning rely on costly annotated data related to the goal task domain during (pre-)training. Recently, unsupervised meta-learning methods have exchanged the annotation requirement for a reduction in few-shot classification performance. Simultaneously, in settings with realistic domain shift, common transfer learning has been shown to outperform supervised meta-learning. Building on these insights and on advances in self-supervised learning, we propose a transfer learning approach which constructs a metric embedding that clusters unlabeled prototypical samples and their augmentations closely together. This pre-trained embedding is a starting point for few-shot classification by summarizing class clusters and fine-tuning. We demonstrate that our self-supervised prototypical transfer learning approach ProtoTransfer outperforms state-of-the-art unsupervised meta-learning methods on few-shot tasks from the mini-ImageNet dataset. In few-shot experiments with domain shift, our approach even has comparable performance to supervised methods, but requires orders of magnitude fewer labels.

연구 동기 및 목표

• 사전 훈련 단계에서 레이블 데이터 의존도를 줄임으로써 지도 학습 기반 소수의 샘플 분류의 높은 레이블링 비용 문제를 해결한다.
• 원형 군집화를 활용한 대규모 자기지도 사전 훈련을 통해 비지도 메타학습 방법의 성능 격차를 해소한다.
• 기본 메타학습 접근 방식의 성능 저하를 초래하는 도메인 이동 상황에서 효과적인 전이 학습을 가능하게 한다.
• 비에피소드 기반, 자기지도 전이 학습이 매개변수 조정 가능한 미세조정과 대규모 기본 클래스 사전 훈련을 결합할 경우 지도 학습 방법과 동등한 성능을 낼 수 있음을 입증한다.
• 에피소드 기반 메타학습과 사전 훈련을 분리함으로써 소수의 샘플 학습에 대해 확장 가능하고 효율적인 새로운 패러다임을 수립한다.

제안 방법

• 동일한 이미지의 여러 증강된 시각을 서로 가까이 모으고 다른 이미지로부터는 멀리 떼어내는 자기지도 대비 손실을 사용하여 신경망 임베딩을 사전 훈련한다.
• 추론 시, 지원 집합의 임베딩 예측 평균값을 클래스 원형으로 정의하며, 이는 최근접 이웃 분류를 위한 원형 네트워크(ProtoNet) 방식을 따르는 것이다.
• 원형 손실과 대비 학습을 영감으로 삼은 쌍별 거리 손실을 사용하여 동일한 이미지의 증강된 시각을 원래 이미지 임베딩 주위에 군집화한다.
• 표준 교차 엔트로피 최적화를 사용하여 소수의 샘플 지원 집합에 대해 전체 네트워크(또는 단지 최종 레이어)에 대해 매개변수 조정 가능한 미세조정을 적용한다.
• 레이블 없이도 큰 기초 클래스 집합에서 훈련하며, 이미지 증강을 통해 대비 학습을 위한 양성 쌍을 생성한다.
• 지원 집합을 클래스 원형으로 요약하고 코사인 유사도를 통해 쿼리 분류를 통해 사전 훈련된 임베딩을 소수의 샘플 분류 작업으로 전이한다.

실험 결과

연구 질문

• RQ1 원형 군집화를 활용한 자기지도 사전 훈련이 기존의 비지도 메타학습 방법보다 소수의 샘플 분류에서 더 나은 성능을 낼 수 있는가?
• RQ2 대규모 기초 클래스 사전 훈련을 통한 비에피소드 기반 전이 학습 접근 방식이 도메인 이동 상황에서 에피소드 기반 메타학습을 능가할 수 있는가?
• RQ3 자기지도 사전 훈련이 얼마나 레이블이 필요한지를 줄일 수 있으며, 동시에 완전히 지도 학습 기반 방법과 동등한 성능을 유지할 수 있는가?
• RQ4 기초 클래스의 규모와 매개변수 조정 가능한 미세조정의 사용이 도메인 이동 상황에서 소수의 샘플 학습 성능에 어떤 영향을 미치는가?
• RQ5 자기지도 사전 훈련 중에 감독 없이도 자기지도 원형 손실이 분류 가능한 표현을 효과적으로 학습하는 데 사용될 수 있는가?

주요 결과

• 5-way 1-shot 및 5-shot 분류 작업에서 미니-이미지넷에서 ProtoTransfer는 최고의 비지도 메타학습 방법보다 4%에서 8% 더 높은 성능을 기록한다.
• 도메인 이동이 있는 CDFSL 벤치마크에서, ProtoTransfer는 사전 훈련 단계에서 레이블이 전혀 필요 없음에도 불구하고 완전히 지도 학습 기반 방법과 동등한 성능을 달성한다.
• 절단 분석 결과, 일반적으로 에피소드 기반 메타학습에서 사용되는 것보다 더 큰 수의 기초 클래스를 사용할 경우 소수의 샘플 일반화 성능이 크게 향상됨을 확인하였다.
• 백본 네트워크 전체에 대한 매개변수 조정 가능한 미세조정이 단지 최종 레이어만 미세조정하는 것보다 도메인 이동 상황에서 지도 학습 성능을 따라잡는 데 있어 필수적임을 입증하였다.
• 오미니글롯에서 강력한 성능을 기록하여, 이는 이미지넷 스타일의 데이터셋을 넘어서 일반화 가능함을 보여준다.
• t-SNE 시각화 결과, 자기지도 사전 훈련이 임베딩 공간에서 잘 분리되고 클래스 일관성이 있는 군집을 생성함을 확인하였으며, 이는 원형 군집화 목표의 효과성을 검증한다.