[논문 리뷰] A Closer Look at Prototype Classifier for Few-shot Image Classification

Mingcheng Hou, Issei Sato|arXiv (Cornell University)|2021. 10. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 12

한 줄 요약

이 논문은 메타학습이나 선형 분류기 재학습 없이 프로토타입 분류기의 성능을 향상시키기 위한 새로운 이론적 분석과 실용적 방법을 제안한다. 일반화 경계를 유도함으로써 특성 노름 분산과 내부-클래스 대 간클래스 분산 비율의 중요성을 강조함으로써, 저자들은 표준 사전학습된 모델의 특징을 사용할 때조차도 L2 정규화만으로도 최신의 선형 평가 기준선과 유사한 성능을 달성할 수 있음을 보여준다. 이는 miniImageNet 및 CUB에서 성능을 확보한다.

ABSTRACT

The prototypical network is a prototype classifier based on meta-learning and is widely used for few-shot learning because it classifies unseen examples by constructing class-specific prototypes without adjusting hyper-parameters during meta-testing. Interestingly, recent research has attracted a lot of attention, showing that training a new linear classifier, which does not use a meta-learning algorithm, performs comparably with the prototypical network. However, the training of a new linear classifier requires the retraining of the classifier every time a new class appears. In this paper, we analyze how a prototype classifier works equally well without training a new linear classifier or meta-learning. We experimentally find that directly using the feature vectors, which is extracted by using standard pre-trained models to construct a prototype classifier in meta-testing, does not perform as well as the prototypical network and training new linear classifiers on the feature vectors of pre-trained models. Thus, we derive a novel generalization bound for a prototypical classifier and show that the transformation of a feature vector can improve the performance of prototype classifiers. We experimentally investigate several normalization methods for minimizing the derived bound and find that the same performance can be obtained by using the L2 normalization and minimizing the ratio of the within-class variance to the between-class variance without training a new classifier or meta-learning.

연구 동기 및 목표

• 표준 사전학습된 모델의 특징을 사용함에도 불구하고 메타학습이나 재학습 없이도 프로토타입 분류기가 잘 작동하는 이유를 이해하기 위해.
• 비정규 분포 및 이방산형 특징 분포 하에서 프로토타입 분류기의 이론적 이해 부족을 메우기 위해.
• 메타학습이나 선형 분류기 재학습 없이도 프로토타입 분류기 성능을 향상시키는 방법을 개발하기 위해.
• 프로토타입 분류기 성능을 결정짓는 핵심 요소인 노름 분산과 내부-클래스 대 간클래스 분산 비율을 특정하기 위해.
• 크로스도메인 소수 샘플 학습 벤치마크에서 방법의 성능을 검증하여 표준 학습 시나리오를 초월한 강건성을 입증하기 위해.

제안 방법

• 가우시안 분포 가정이나 클래스 간 공분산 행렬 동일성 가정 없이도 프로토타입 분류기의 새로운 일반화 경계를 유도한다.
• 경계에 포함된 세 가지 구성 요소를 식별한다: 특징 노름의 분산, 클래스 간 분포 형태의 차이, 내부-클래스 대 간클래스 분산 비율.
• 노름 분산과 내부-클래스 대 간클래스 분산 비율을 최소화하면 프로토타입 분류기 성능 향상이 가능하다고 제안한다.
• 특징 벡터에 L2 정규화를 적용하여 노름 분산을 감소시키고, 그 효과를 실증적으로 검증한다.
• 중심화, L2 노름, EST, LDA 등의 정규화 및 변환 기법을 조사하고 비교하여 유도된 경계를 최소화한다.
• ResNet12 및 ResNet18를 사용하여 표준 소수 샘플 벤치마크(예: miniImageNet, CUB)에서 평가하고, ProtoNet 및 선형 평가 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 표준 사전학습된 모델의 특징을 사용하는 프로토타입 분류기가 메타학습 또는 선형 평가 기준선보다 성능이 열 劣하는 이유는 무엇인가?
• RQ2 가우시안 분포나 동일 공분산 행렬을 가정하지 않고도 프로토타입 분류기의 이론적 일반화 경계를 도출할 수 있는가?
• RQ3 유도된 일반화 경계를 가장 효과적으로 최소화하고 프로토타입 분류기 정확도를 향상시키는 특징 변환 기법은 무엇인가?
• RQ4 메타학습이나 분류기 재학습 없이도 L2 정규화만으로 최신 선형 평가 방법과 유사한 성능을 달성할 수 있는가?
• RQ5 특징 분포가 소스 도메인과 타겟 도메인 간에 다를 수 있는 크로스도메인 소수 샘플 학습 시나리오에서 제안된 방법의 성능은 어떠한가?

주요 결과

• 표준 사전학습된 모델(예: Baseline, Baseline++)에서 추출한 특징에 대해 L2 정규화를 적용하면, 메타학습이나 분류기 재학습 없이도 miniImageNet 및 CUB에서 선형 평가 기준선과 유사한 성능을 달성한다.
• ResNet18를 사용한 miniImageNet에서 제안된 방법(Baseline++-w/o-linear, L2-norm)은 5샷 시 67.21%의 정확도를 기록하여, ProtoNet(61.79%)를 초월하고 선형 평가 기준선과 동등하거나 이를 초월한다.
• 이 방법은 내부-클래스 대 간클래스 분산 비율과 노름 분산을 크게 감소시켜, 유도된 일반화 경계의 핵심 구성 요소로 이어져 성능 향상을 이룬다.
• 메타학습 없이도 L2 정규화된 특징을 사용하는 프로토타입 분류기는 ResNet18를 사용해 CUB에서 1샷 시 47.65%의 정확도를 기록하여, ProtoNet의 44.01%를 초월하고 최고의 선형 평가 기준선과 동일한 성능을 달성한다.
• 제안된 접근법은 크로스도메인 소수 샘플 학습에 잘 일반화되며, Baseline++에서 유도된 L2 정규화 특징을 사용해 CUB에서 5샷 시 64.17%의 정확도를 기록하여, ProtoNet 및 기타 기준선을 초월한다.
• 실증 결과는 이론적 분석이 타당함을 확인한다: 노름 분산과 내부-클래스 대 간클래스 분산 비율을 최소화하면 다양한 모델과 데이터셋에서 일관된 성능 향상이 이루어진다.