[논문 리뷰] Matching Feature Sets for Few-Shot Image Classification

Arman Afrasiyabi, Hugo Larochelle외 2명|arXiv (Cornell University)|2022. 04. 02.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

이 논문은 기존 백본에 경량 자기주의 모듈(메이퍼)를 삽입하여 이미지를 단일 벡터가 아닌 특징 벡터의 집합으로 표현하는 SetFeat를 제안한다. 집합 간 매칭 거리 측도를 적용함으로써 SetFeat는 최소한의 파라미터 증가로 최신 기술 수준(SOTA) 성능을 달성하며, miniImageNet, tieredImageNet, CUB 데이터셋에서 1-shot 정확도에서 이전 방법보다 최대 1.83% 향상된다.

ABSTRACT

In image classification, it is common practice to train deep networks to extract a single feature vector per input image. Few-shot classification methods also mostly follow this trend. In this work, we depart from this established direction and instead propose to extract sets of feature vectors for each image. We argue that a set-based representation intrinsically builds a richer representation of images from the base classes, which can subsequently better transfer to the few-shot classes. To do so, we propose to adapt existing feature extractors to instead produce sets of feature vectors from images. Our approach, dubbed SetFeat, embeds shallow self-attention mechanisms inside existing encoder architectures. The attention modules are lightweight, and as such our method results in encoders that have approximately the same number of parameters as their original versions. During training and inference, a set-to-set matching metric is used to perform image classification. The effectiveness of our proposed architecture and metrics is demonstrated via thorough experiments on standard few-shot datasets -- namely miniImageNet, tieredImageNet, and CUB -- in both the 1- and 5-shot scenarios. In all cases but one, our method outperforms the state-of-the-art.

연구 동기 및 목표

• 더 풍부하고 전이 가능한 표현을 위해 단일 특징 벡터를 대체로 이미지를 특징 벡터의 집합으로 표현함으로써 소수의 샘플에서의 이미지 분류 성능을 향상시키는 것.
• 기존의 깊은 백본이 모델 크기를 크게 증가시키지 않고도 이미지당 다수의 특징 벡터를 추출할 수 있도록 하는 방법을 개발하는 것.
• 기존의 중심점 기반 매칭 방식을 능가하는 효과적인 집합 간 거리 측도를 설계하는 것.
• 영역 간 일반화 성능을 입증함으로써 제로샷 및 교차 데이터셋 소수의 샘플 전이 성능을 확보하는 것.

제안 방법

• 기존 인코더 아키텍처(예: Conv4-64, ResNet12)의 다양한 척도에 경량 자기주의 모듈(메이퍼)를 통합하여 특징 벡터의 집합을 생성한다.
• 각 메이퍼에서 분류 손실을 사용하여 네트워크를 사전 훈련한 후, 프로토타입 네트워크와 유사한 에피소드 기반 학습 방식으로 메타학습을 수행한다.
• 쿼리 이미지를 새로운 클래스의 지원 집합과 비교하기 위해 집합 간 매칭 거리 측도(특히 sum-min, Hausdorff 등)를 사용한다.
• 이중 단계 훈련 절차를 적용한다: 먼저 각 메이퍼에서 교차 엔트로피 손실을 사용한 표준 전이 학습을 수행하고, 이후 집합 기반 분류를 위한 메타학습을 수행한다.
• 세 가지 백본(Conv4-64, Conv4-256, ResNet12)을 전역 풀링을 메이퍼 기반 특징 집합 추출로 대체함으로써 변형한다.
• 기울기 시각화 및 t-SNE 시각화를 통해 다양한 메이퍼가 이미지의 다른 영역에 집중하고 잠재 공간에서 클래스 구조를 유지하는 방식으로 학습하는지 분석한다.

Figure 1 : The schematic overview of the proposed set-feature extractor (SetFeat) and detail of a single attention-based mapper: (a) given an input $\mathbf{x}$ , SetFeat first extracts (convolutional) feature vectors $\mathbf{z}_{b}$ at each of its blocks, while at each block attention-based mapper

실험 결과

연구 질문

• RQ1 단일 벡터 표현 대비 특징 벡터의 집합으로 이미지를 표현하는 것이 소수의 샘플에서 일반화 성능을 향상시키는가?
• RQ2 기존 백본에 경량 자기주의 모듈을 삽입함으로써 모델 크기를 크게 증가시키지 않고도 특징의 다양성과 전이 가능성 향상을 달성할 수 있는가?
• RQ3 집합 간 매칭 거리 측도가 소수의 샘플 분류에서 기존 중심점 기반 매칭 방식을 능가할 수 있는가?
• RQ4 제안된 방법은 miniImageNet에서 CUB로의 영역 간 일반화 성능에서 어떻게 작용하는가?
• RQ5 개별 메이퍼가 잠재 공간에서 클래스의 구조를 유지하면서 이미지의 다른 영역에 집중하는가?

주요 결과

• SetFeat는 1-shot 및 5-shot 설정 모두에서 miniImageNet, tieredImageNet, CUB에서 최신 기술 수준(SOTA) 성능을 달성하며, 거의 모든 경우에서 이전 방법을 능가한다.
• miniImageNet에서 SetFeat12는 sum-min 거리 측도를 사용하여 5-way 5-shot 분류에서 82.71%의 정확도를 기록했으며, 이는 이전 SOTA인 MixtFSL(82.04%)을 0.67% 초월한 성능이다.
• 1-way 5-shot 분류에서 SetFeat12는 CUB에서 베이스라인 대비 1.83% 향상되었고, tieredImageNet에서는 1.42%, miniImageNet에서는 1.83% 향상되었다.
• 모델 효율성은 유지된다: SetFeat12는 파라미터 수가 12.349M으로 ResNet12의 12.424M과 매우 유사하며, 최소한의 파라미터 증가를 보였다.
• 교차 도메인 평가 결과, SetFeat12 ∗는 miniImageNet에서 사전 훈련 후 CUB에서 67.85%의 정확도를 기록했으며, 최고 성능 방법(68.77%)에 비해 0.92% 이내로 두 번째로 높은 순위를 기록했다.
• 제거 실험 결과, sum-min 거리 측도가 Hausdorff 및 기타 집합 간 측도보다 일관되게 뛰어난 성능을 보였으며, 1-shot 설정에서 miniImageNet에서는 1.11% 향상되었고, CUB에서는 1.89% 향상되었다.

Figure 2 : Illustration of 1-shot image classification using (a) three existing methods and (b) our approach with the sum-min metric. (a) Given a query and support, existing methods either directly match the query to support (ProtoNet (PN) [ 50 ] ), apply a single embedding function over both suppor