[논문 리뷰] Gaussian Prototypical Networks for Few-Shot Learning on Omniglot

Stanislav Fort|arXiv (Cornell University)|2017. 08. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 61

한 줄 요약

이 논문은 Gaussian Prototypical Networks를 도입하여 prototypical networks를 확장하고, per-sample 불확실성(공분산)을 예측하여 covariant-weighted distance 메트릭을 통해 Omniglot에서 소수샷 분류를 수행하며 최첨단 결과를 달성한다.

ABSTRACT

We propose a novel architecture for $k$-shot classification on the Omniglot dataset. Building on prototypical networks, we extend their architecture to what we call Gaussian prototypical networks. Prototypical networks learn a map between images and embedding vectors, and use their clustering for classification. In our model, a part of the encoder output is interpreted as a confidence region estimate about the embedding point, and expressed as a Gaussian covariance matrix. Our network then constructs a direction and class dependent distance metric on the embedding space, using uncertainties of individual data points as weights. We show that Gaussian prototypical networks are a preferred architecture over vanilla prototypical networks with an equivalent number of parameters. We report state-of-the-art performance in 1-shot and 5-shot classification both in 5-way and 20-way regime (for 5-shot 5-way, we are comparable to previous state-of-the-art) on the Omniglot dataset. We explore artificially down-sampling a fraction of images in the training set, which improves our performance even further. We therefore hypothesize that Gaussian prototypical networks might perform better in less homogeneous, noisier datasets, which are commonplace in real world applications.

연구 동기 및 목표

• 소수샷 학습 설정에서 보지 못한 클래스에 대한 빠른 적응 동기를 제시합니다.
• 각 임베딩에 대해 불확실성(공분산)을 예측하여 prototypical networks를 확장합니다.
• covariance-aware 측정치가 클래스 프로토타입 및 의사결정 경계에 미치는 영향을 평가합니다.
• covariance 가중치 및 데이터셋 다운샘플링을 통해 노이즈/비균질 데이터에 대한 강건성을 조사합니다.

제안 방법

• CNN 인코더를 사용하여 이미지를 임베딩으로 매핑하고 임베딩마다 공분산(불확실성)을 예측합니다.
• 세 가지 공분산 변형: radius (스칼라), diagonal (벡터), 그리고 전체 공분산(복잡도로 인해 사용하지 않음)입니다.
• 지원 임베딩의 분산 가중합으로 클래스 프로토타입을 구성합니다(p_c = sum(s_i ∘ x_i)/sum(s_i)).
• 클래스 공분산 s_c = sum(s_i) 및 클래스 프로토타입까지의 거리로 d_c(i)^2 = (x_i - p_c)^T S_c (x_i - p_c), 여기서 S_c = Σ_c^{-1}입니다.
• 에피소드 방식으로 학습합니다: N_c 클래스 선택, N_s 지원 샘플, 각 클래스당 N_q 질의 샘플; 거리들에 대한 소프트맥스 교차 엔트로피를 최적화합니다.
• 임베딩 차원과 인코더 용량을 실험하고; radius 대 diagonal 공분산 비교; covariance 사용을 촉진하기 위한 훈련 데이터 다운샘플링의 영향을 평가합니다.

실험 결과

연구 질문

• RQ1 per-sample covariance를 예측하는 것이 Omniglot에서 vanilla prototypical networks에 비해 소수샷 분류를 개선할 수 있는가?
• RQ2 이 프레임워크에서 불확실성(반지름 vs 대각 또는 전체 공분산)을 인코딩하는 가장 매개변수 효율적인 방법은 무엇인가?
• RQ3 학습 데이터를 의도적으로 저하시키는(다운샘플링) 것이 공분산 추정치의 유용성과 소수샷 정확도에 어떤 영향을 미치는가?
• RQ4 covariance-aware 메트릭이 1-shot 및 5-shot, 5-way 및 20-way 체계에서 이전의 최첨단에 비해 성능을 향상시키는가?

주요 결과

• Gaussian prototypical networks는 매개변수 수가 비슷한 vanilla prototypical networks를 능가한다.
• 공분산 변형들 중 임베딩당 단일 반지름 값을 예측하는(radius 방법)이 Omniglot에서 가장 효과적이다.
• 훈련 데이터의 일부를 다운샘플링하여 노이즈가 많고 덜 균질한 데이터를 유도하면 covariance 추정치 사용을 촉진해 k-shot 성능을 향상시킨다.
• 가장 큰 모델의 radius 구성은 1-shot 및 5-shot, 20-way 분류에서 최첨단 결과를 달성하고 5-way 5-shot 작업에서 경쟁력 있는 결과를 보인다.
• 부분적으로 손상된 데이터로의 학습은 더 높은 샷 체제에서의 성능을 더욱 높여 노이즈에 대한 공분산 가중치의 강건성을 시사한다.