[논문 리뷰] Infinite Mixture Prototypes for Few-Shot Learning

Kelsey R. Allen, Evan Shelhamer외 2명|arXiv (Cornell University)|2019. 02. 12.

Domain Adaptation and Few-Shot Learning인용 수 80

한 줄 요약

데이터로부터 추정되는 다수의 클러스터로 각 클래스를 표현하는 Infinite Mixture Prototypes (IMP)를 도입하여 최근접 이웃과 프로토타입 표현 사이의 적응적 용량을 가능하게 하고, 소수 샷 학습, 반지도 학습 및 비지도 군집화를 향상시킨다.

ABSTRACT

We propose infinite mixture prototypes to adaptively represent both simple and complex data distributions for few-shot learning. Our infinite mixture prototypes represent each class by a set of clusters, unlike existing prototypical methods that represent each class by a single cluster. By inferring the number of clusters, infinite mixture prototypes interpolate between nearest neighbor and prototypical representations, which improves accuracy and robustness in the few-shot regime. We show the importance of adaptive capacity for capturing complex data distributions such as alphabets, with 25% absolute accuracy improvements over prototypical networks, while still maintaining or improving accuracy on the standard Omniglot and mini-ImageNet benchmarks. In clustering labeled and unlabeled data by the same clustering rule, infinite mixture prototypes achieves state-of-the-art semi-supervised accuracy. As a further capability, we show that infinite mixture prototypes can perform purely unsupervised clustering, unlike existing prototypical methods.

연구 동기 및 목표

• 단순한 클래스 분포와 다모달(multimodal) 분포를 모두 처리할 수 있도록 소수 샷 학습에서 적응형 모델 용량을 동기 부여한다.
• 데이터에서 추론된 가변 개수의 클러스터로 각 클래스를 표현하는 Infinite Mixture Prototypes (IMP)를 도입한다.
• 이 접근법을 반지도 학습 및 완전한 비지도 군집화 시나리오로 확장한다.
• Omniglot과 mini-ImageNet에서 프로토타입 네트워크 대비 경험적 이득을 시연하며 특히 복잡한 알파벳에서 성능을 개선하면서 더 간단한 클래스에서는 성능을 보존한다.

제안 방법

• 각 클래스를 학습 가능한 클러스터 평균과 분산을 갖는 클러스터 집합으로 표현한다.
• 에피소드 처리 중 각 클래스의 클러스터 수를 추론하기 위해 DP-means에서 영감을 받은 클러스터링을 사용한다.
• 입력을 클러스터가 정의되는 특징 공간으로 매핑하는 깊은 임베딩 h_phi를 학습한다.
• 레이블링된 데이터와 비레이블링된 데이터에 대해 서로 다른 클러스터 분산 sigma_l과 sigma_u를 도입하고 이를 엔드투엔드로 학습한다.
• 다중 모드를 초점으로 하는 손실을 최적화하여 각 클래스에서 가장 가까운 클러스터에 집중하고 다모드성을 과하게 페널티 주는 것을 피한다.
• 새로운 클러스터를 생성하는 임계값 lambda를 CRP 농도 및 학습된 분산과의 관계를 통해 간접적으로 조정한다(식에서 영감을 받음).
• 쿼리를 각 클래스 내에서 가장 가까운 클러스터까지의 거리로 분류하고 이러한 클래스별 가장 가까운 클러스터들에 대해 softmax를 적용한다.]
• research_questions:[

실험 결과

연구 질문

• RQ1 각 클래스당 적응형 다모달 클러스터링이 단일 모달 프로토타입에 비해 소수 샷 분류를 향상시킬 수 있는가?
• RQ2 클러스터별 분산 학습과 다모달 클러스터링이 동일한 프레임워크에서 비레이블 데이터의 효과적 사용과 비지도 군집화를 가능하게 하는가?
• RQ3 IMP는 단순(단일 모달) 데이터와 복잡한(다모달) 데이터 분포(예: Omniglot 문자 대 문자 집합) 및 반지도 설정에서 어떤 성능을 보이는가?
• RQ4 클러스터 용량의 엔드-투-엔드 학습이 고정 용량의 프로토타이핑 네트워크와 비교해 작업 및 데이터세트에 robust한가?

주요 결과

• 복잡한 다모달 문자(Omniglot 문자 집합)에서 IMP가 더 높은 정확도를 달성하는 반면, 간단한 문자에 대해서는 성능을 보존한다.
• 클러스터 분산(sigma)을 학습하고 다모달 클러스터링을 가능하게 하는 것이 소수 샷 정확도와 강건성을 크게 향상시키며 특히 반지도 설정에서 그렇다.
• IMP는 라벨링된 데이터와 비라벨링된 데이터를 단일 규칙 하에 군집화하여 프로토타이핑 네트워크가 수행할 수 없는 완전한 비지도 클러스터링을 가능하게 한다.
• 실험에서 IMP는 Omniglot과 mini-ImageNet 벤치마크에서 완전 감독 및 반감독 설정에서 이웃 방법 및 프로토타이핑 방법에 대해 경쟁력 있거나 우수한 성능을 보였다.
• 분리된 sigma_l 및 sigma_u가 동일한 sigma보다 성능을 개선하고, 다모달 접근이 새로운 클러스터 생성을 위한 임계값 선택에 대해 더 robust하다는 것을 알아냈다.