[논문 리뷰] Centroid Networks for Few-Shot Clustering and Unsupervised Few-Shot Classification.

Gabriel Huang, Hugo Larochelle외 1명|arXiv (Cornell University)|2019. 02. 22.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 레이블 없이도 성능을 향상시키는 태스크별 표현을 학습하는 few-shot 클러스터링 방법인 Centroid Networks를 소개한다. 클러스터링을 메타학습 문제로 재정의하고, 레이블이 없는 few-shot 분류를 도입함으로써, 오미니글롯과 미니이미지넷에서 레이블이 없는 지원 세트를 사용함에도 불구하고, 지도 학습 기반 few-shot 분류 방법과 경쟁 가능한 성능을 달성한다.

ABSTRACT

Traditional clustering algorithms such as K-means rely heavily on the nature of the chosen metric or data representation. To get meaningful clusters, these representations need to be tailored to the downstream task (e.g. cluster photos by object category, cluster faces by identity). Therefore, we frame clustering as a meta-learning task, few-shot clustering, which allows us to specify how to cluster the data at the meta-training level, despite the clustering algorithm itself being unsupervised. We propose Centroid Networks, a simple and efficient few-shot clustering method based on learning representations which are tailored both to the task to solve and to its internal clustering module. We also introduce unsupervised few-shot classification, which is conceptually similar to few-shot clustering, but is strictly harder than supervised* few-shot classification and therefore allows direct comparison with existing supervised few-shot classification methods. On Omniglot and miniImageNet, our method achieves accuracy competitive with popular supervised few-shot classification algorithms, despite using *no labels* from the support set. We also show performance competitive with state-of-the-art learning-to-cluster methods.

연구 동기 및 목표

• 기존 클러스터링 방법이 후행 작업과 일치하지 않는 사전 정의된 거리 측정법이나 표현에 의존하는 한계를 해결하기 위해.
• 클러스터링 전략이 메타학습 기간 동안 학습되는 메타학습 문제로 클러스터링을 재정의하기 위해.
• 지도 학습 기반 few-shot 분류 방법과의 비교를 위해 더 도전적이고 직접적인 벤치마크로 사용할 수 있는 비지도 few-shot 분류 설정을 도입하기 위해.
• 클러스터링 작업과 내부 모듈 양쪽에 맞게 특징을 최적화하는 표현 학습 방법을 개발하여 클러스터 품질을 향상시키기 위해.

제안 방법

• 특정 클러스터링 작업과 내부 클러스터링 모듈에 최적화된 표현을 학습하는 신경망 아키텍처인 Centroid Networks를 제안한다.
• 메타학습을 사용하여 모델을 훈련함으로써, 추론 시 지원 세트에 레이블이 없더라도 새로운 few-shot 클러스터링 작업으로 일반화할 수 있도록 한다.
• 모델이 지원 세트를 레이블 없이 클러스터로 분류해야 하는 비지도 few-shot 분류 설정을 도입함으로써, 지도 학습 대비 더 엄격한 조건을 제공한다.
• 각 클래스가 원형(프로토타입)으로 표현되고, 샘플은 이러한 원형까지의 거리에 기반해 할당되는 중심 기반 클러스터링 모듈을 활용한다.
• 임베딩 공간 내에서 내부 클러스터 간의 밀집도와 외부 클러스터 간의 분리도를 촉진하는 대비 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 학습된 표현을 few-shot 클러스터링과 비지도 few-shot 분류 양쪽에 적용하여, 새로운 클래스로의 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 클러스터링을 태스크 기반 few-shot 메타학습 문제로 효과적으로 재정의함으로써, 새로운 작업으로의 일반화 성능을 향상시킬 수 있는가?
• RQ2 클러스터링 작업과 내부 클러스터링 모듈 양쪽에 모두 적합한 표현 학습 방법을 설계할 수 있는가?
• RQ3 비지도 few-shot 분류 설정이 지도 학습 기반 분류 방법과 비교하기 위한 의미 있는 벤치마크가 될 수 있는가?
• RQ4 지원 세트에서 어떤 레이블도 사용하지 않고도, few-shot 클러스터링 및 분류에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• Centroid Networks는 지원 세트에서 레이블을 전혀 사용하지 않음에도 불구하고, 오미니글롯과 미니이미지넷에서 최신 기술(SOTA) 지도 학습 기반 few-shot 분류 방법과 경쟁 가능한 성능을 달성한다.
• 제안된 비지도 few-shot 분류 설정은 지도 학습 대비 더 엄격하고 의미 있는 벤치마크를 제공하며, 기존 방법과 직접 비교할 수 있도록 한다.
• 기존의 러닝 투 클러스터링 접근법보다 오미니글롯과 미니이미지넷 양쪽에서 모두 우수한 성능을 보이며, 새로운 클래스로의 강력한 일반화 능력을 입증한다.
• 태스크 인식 표현 학습을 사용할 경우, 표준 특징 추출기와 K-means를 사용하는 전통적인 클러스터링 기반 방법보다 클러스터 품질이 크게 향상된다.