[논문 리뷰] Semi-Supervised Few-Shot Learning with Local and Global Consistency

Ahmed Ayyad, Nassir Navab외 2명|arXiv (Cornell University)|2019. 03. 06.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 일관성 있는 프로토타입 네트워크(CPN)를 제안하며, 새로운 손실 항목을 통해 미분류 데이터에 대한 局소적이고 전역적인 일관성을 강제하여 소수 샘플 분류 성능을 햖थन하는 반감독 소수 샘플 학습 방법이다. CPN은 최신 기술 수준의 성능을 달성하여, mini-ImageNet 5-shot에서 70.1%의 정확도를 기록했으며, 라벨의 40%만을 사용함에도 불구하고 완전히 감독된 프로토타입 네트워크를 초월한다.

ABSTRACT

Learning from a few examples is a key characteristic of human intelligence that AI researchers have been excited about modeling. With the web-scale data being mostly unlabeled, few recent works showed that few-shot learning performance can be significantly improved with access to unlabeled data, known as semi-supervised few shot learning (SS-FSL). We introduce a SS-FSL approach that we denote as Consistent Prototypical Networks (CPN), which builds on top of Prototypical Networks. We propose new loss terms to leverage unlabelled data, by enforcing notions of local and global consistency. Our work shows the effectiveness of our consistency losses in semi-supervised few shot setting. Our model outperforms the state-of-the-art in most benchmarks, showing large improvements in some cases. For example, in one mini-Imagenet 5-shot classification task, we obtain 70.1% accuracy to the 64.59% state-of-the-art. Moreover, our semi-supervised model, trained with 40% of the labels, compares well against the vanilla prototypical network trained on 100% of the labels, even outperforming it in the 1-shot mini-Imagenet case with 51.03% to 49.4% accuracy. For reproducibility, we make our code publicly available.

연구 동기 및 목표

• 반감독 설정에서 대규모의 미분류 데이터를 활용하여 소수 샘플 학습 성능을 향상시키기 위해.
• 소수 샘플 학습에서 라벨이 부족한 문제를 효과적으로 미분류 예제를 통합하여 해결하기 위해.
• 임bed딩 공간 내에서 국소적 이웃과 전역적 특징 분포 양쪽 모두에 대해 일관성을 유지하는 방법을 개발하기 위해.
• 상당히 적은 라벨 예제를 사용하면서도 완전히 감독된 모델과 비교하거나 그 이상의 성능를 달성하기 위해.
• 공개된 코드를 통해 재현 가능성을 확보하기 위해.

제안 방법

• 미분류 데이터를 활용하기 위해 새로운 손실 항목을 추가한 프로토타입 네트워크의 확장.
• 임베딩 공간에서 가까운 샘플들에 대해 유사한 특징을 유도하는 국소적 일관성 손실 도입.
• 모델의 예측과 특징의 전체 분포 간의 정렬을 유도하는 전역적 일관성 손실 구현.
• 소수 샘플 에피소드에 적응하기 위해 메타학습 프레임워크를 사용해 복합 손실 최적화.
• 라벨이 있는 데이터와 미분류 데이터 양쪽을 기반으로 프로토타입을 업데이트하는 프로토타입 기반 분류 헤드 사용.
• 일관성 정규화를 적용하여 저샷 시나리오에서 일반화 성능을 향상시킴.

실험 결과

연구 질문

• RQ1 미분류 데이터에 대해 국소적 및 전역적 일관성을 강제하면 소수 샘플 분류 성능이 향상되는가?
• RQ2 완전한 감독 학습에 비해 라벨의 40%만을 사용했을 때 성능 향상은 어느 정도 이루어지는가?
• RQ3 일관성 손실을 사용한 반감독 학습이 저샷 환경에서 완전히 감독된 프로토타입 네트워크를 능가하는가?
• RQ4 일관성 정규화가 라벨이 제한된 소수 샘플 학습에서 일반화를 안정화하고 향상시키는가?
• RQ5 제안된 방법은 다양한 벤치마크에서 최신 기술 수준의 접근법과 비교해 어떻게 성능를 내는가?

주요 결과

• CPN은 mini-ImageNet 5-shot 분류 벤치마크에서 70.1%의 정확도를 기록하여 이전 최신 기술 수준인 64.59%를 초월한다.
• 라벨의 40%만을 사용했을 때, CPN은 1-shot 설정에서 기준 모델의 49.4%보다 높은 51.03%의 정확도를 달성하여 완전히 감독된 프로토타입 네트워크를 능가한다.
• 특히 5-shot 설정에서 효과적인 미분류 데이터 활용 덕분에 저샷 환경에서 뚜렷한 성능 향상을 보였다.
• 국소적 및 전역적 일관성 손실의 조합은 더 견고하고 일반화 능력이 뛰어난 특징 표현을 이끌어낸다.
• 다양한 벤치마크에서 뛰어난 성능를 기록하여 광범위한 적용 가능성을 보여준다.
• 코드가 공개되어 재현 가능성이 보장되고 향후 연구에 기여할 수 있다.