[논문 리뷰] SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning

Yan Wang, Wei‐Lun Chao외 2명|arXiv (Cornell University)|2019. 11. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 233

한 줄 요약

이 논문은 간단한 특징 변환(평균 중심화 및 L2 정규화)과 최근접 이웃 분류기를 사용하면 메타 학습 없이 표준 소샷 벤치마크에서 최첨단 또는 경쟁력 있는 결과를 달성할 수 있음을 보여준다.

ABSTRACT

Few-shot learners aim to recognize new object classes based on a small number of labeled training examples. To prevent overfitting, state-of-the-art few-shot learners use meta-learning on convolutional-network features and perform classification using a nearest-neighbor classifier. This paper studies the accuracy of nearest-neighbor baselines without meta-learning. Surprisingly, we find simple feature transformations suffice to obtain competitive few-shot learning accuracies. For example, we find that a nearest-neighbor classifier used in combination with mean-subtraction and L2-normalization outperforms prior results in three out of five settings on the miniImageNet dataset.

연구 동기 및 목표

• 메타 학습에 의존하지 않는 강력한 소샷 학습 기준선을 제시한다.
• 소샷 설정에서 최근접 이웃 분류에 대한 간단한 특징 변환의 영향을 조사한다.
• 여러 백본 아키텍처와 데이터셋에 걸쳐 간단한 변환을 평가해 견고한 기준선을 확립한다.

제안 방법

• base 클래스에서 선형 분류기 W로 교차 엔트로피를 최소화하는 방식으로 특징 추출기 f_theta를 학습한다.
• 테스트 샘플에 대해 특징 공간에서 유클리드 거리를 사용해 최근접 이웃 분류를 수행한다.
• 최근접 이웃에 앞서 특징 변환을 적용한다: (a) 비정규화 UN, (b) L2-정규화 L2N, (c) 중심화된 L2-정규화 CL2N.
• 원샷 및 다섯샷 C-way 태스크를 사용한다; 다중 샷 설정에서 각 신규 클래스에 대해 최근접 중심(클래스 중심) 방법을 사용한다.
• 여러 아키텍처(Conv-4, ResNet-10/18, WRN, DenseNet, MobileNet)와 데이터셋(miniImageNet, tiered ImageNet, CIFAR-100)에서 평가한다.
• SimpleShot를 다양한 메타 학습 기반 기준선과 비교해 경쟁력 있는 기준선으로 설정한다.

실험 결과

연구 질문

• RQ1 메타 학습 없이 간단한 특징 변환을 갖춘 최근접 이웃 분류기가 원샷 및 다섯샷 설정에서 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 평균 중심화 및 L2 정규화가 서로 다른 백본 및 데이터셋에서 최근접 이웃의 성능에 어떤 영향을 미치는가?
• RQ3 관찰된 이점이 miniImageNet를 넘어서 tiered ImageNet 및 CIFAR-100까지 일반화되는가?
• RQ4 SimpleShot가 향후 소샷 학습 연구를 위한 경쟁력 있는 기준선으로 살아남을 수 있는가?

주요 결과

• L2 정규화는 비정규화된 특징에 비해 여러 데이터셋에서 정확도를 일관되게 최소 약 3% 향상시킨다.
• 중심화(평균 뺄셈) 후 L2 정규화(CL2N)가 추가로 약 1–3%의 개선을 가져온다.
• L2N 또는 CL2N을 이용한 SimpleShot은 여러 백본과 데이터셋에서 많은 최첨단 메타 학습 방법과 비교해 경쟁력 있거나 우수한 성능을 달성한다.
• miniImageNet에서 SimpleShot 변형 중 CL2N은 여러 아키텍처(예: ResNet-10/18, DenseNet, WRN 등)에서 종종 최상위 성능을 달성한다.
• 특징 변환은 학습 후에도 ProtoNet을 향상시키며, 바닐라 1NN 외에도 광범위한 활용 가능성을 시사한다.