[논문 리뷰] Exploring Category-correlated Feature for Few-shot Image Classification

Jing Xu, Xinglin Pan외 3명|arXiv (Cornell University)|2021. 12. 14.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 기초 클래스와의 카테고리 상관관계를 활용하여 소수 샘플 이미지 분류에서 편향된 특징을 보정하는 일반적이고 백본에 종속되지 않는 Category-correlated Feature Corrector (CCF)를 제안한다. 기초 클래스와의 특징 유사도를 잠재 벡터에 인코딩하고, 온도 조절된 디코더를 사용함으로써, 클래스 중심점에 더 가까운 더 대표적인 특징을 생성한다. 이는 다양한 백본과 분류기에서 일관되게 정확도를 향상시킨다.

ABSTRACT

Few-shot classification aims to adapt classifiers to novel classes with a few training samples. However, the insufficiency of training data may cause a biased estimation of feature distribution in a certain class. To alleviate this problem, we present a simple yet effective feature rectification method by exploring the category correlation between novel and base classes as the prior knowledge. We explicitly capture such correlation by mapping features into a latent vector with dimension matching the number of base classes, treating it as the logarithm probability of the feature over base classes. Based on this latent vector, the rectified feature is directly constructed by a decoder, which we expect maintaining category-related information while removing other stochastic factors, and consequently being closer to its class centroid. Furthermore, by changing the temperature value in softmax, we can re-balance the feature rectification and reconstruction for better performance. Our method is generic, flexible and agnostic to any feature extractor and classifier, readily to be embedded into existing FSL approaches. Experiments verify that our method is capable of rectifying biased features, especially when the feature is far from the class centroid. The proposed approach consistently obtains considerable performance gains on three widely used benchmarks, evaluated with different backbones and classifiers. The code will be made public.

연구 동기 및 목표

• 소수 샘플 학습에서 부족한 훈련 샘플로 인한 특징 분포 편향 문제를 해결하기 위해.
• 신규 클래스 특징 보정을 위한 사전 지식으로서 활용되지 않은 기초 클래스의 지식을 활용하기 위해.
• 기존 모델을 수정하지 않고도 특징의 대표성을 향상시킬 수 있는 일반적이고 분류기 독립적인 방법을 개발하기 위해.
• 특히 원래 특징이 이방자일 경우에도 클래스 중심점에 더 가까운 특징을 생성함으로써 결정 경계 추정을 향상시키기 위해.

제안 방법

• CCF는 신규 이미지 특징을 기초 클래스 수와 동일한 차원의 잠재 벡터로 매핑하는 인코더를 갖는 오토인코더이다.
• 잠재 벡터는 기초 클래스에 대한 로그-확률로 해석되며, 카테고리 상관관계 정보를 포함한다.
• 온도 조절된 소프트맥스를 통해 잠재 벡터에 기초 클래스 분류 손실을 적용함으로써 의미적 일관성을 유도한다.
• 디코더는 잠재 벡터에서 보정된 특징을 재구성하며, 카테고리 관련 정보를 유지하면서 노이즈와 이방자를 억제하고자 한다.
• 온도 하이퍼파라미터는 특징 보정과 재구성 간 균형을 조절하며, 1-샷 작업에서는 T=0.1, 5-샷 작업에서는 T=0.02에서 최적의 값을 얻었다.
• 이 방법은 플러그 앤 플레이 가능하며, 어떤 특징 추출기나 분류기와도 호환되며 기존의 소수 샘플 학습 프레임워크에 통합될 수 있다.

실험 결과

연구 질문

• RQ1 신규 클래스와 기초 클래스 간의 카테고리 상관관계는 소수 샘플 학습에서 특징 편향을 줄이기 위한 효과적인 사전 지식이 될 수 있는가?
• RQ2 잠재 공간에서 카테고리 상관관계를 명시적으로 모델링하고 활용하여 더 대표적인 특징을 생성할 수 있는가?
• RQ3 잠재 공간에서 특징 보정과 재구성 정확도 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 제안된 방법은 다양한 백본, 분류기, 소수 샘플 학습 알고리즘에 일반화되는가?
• RQ5 소프트맥스의 온도 하이퍼파라미터는 보정과 재구성 간 균형에 어떤 영향을 미치는가?

주요 결과

• CCF 방법은 mini-ImageNet, CUB, Stanford Cars 세 가지 벤치마크에서 일관된 성능 향상을 보였으며, 다양한 백본과 분류기에서 2%에서 9%까지의 향상률을 기록했다.
• 1-샷 및 5-샷 설정에서 mini-ImageNet에서 각각 68.88% 및 84.59%의 정확도를 달성했으며, 1-샷에서는 기준 모델보다 3% 이상 높은 성능을 기록했다.
• 아블레이션 스터디는 원본 특징과 보정된 특징을 조합할 경우 최고의 성능을 내며, 가장 큰 성능 향상은 CCF 모듈에서 기인함을 확인했다.
• 이 방법은 잘 일반화된다: 다양한 백본(ResNet-12, Wide ResNet, DenseNet)과 분류기(소프트맥스, 코사인, 로지스틱 회귀)에서 성능 향상을 보였다.
• 하이퍼파라미터 분석 결과, 1-샷 성능 최적화를 위해 T=0.1, 5-샷 성능 최적화를 위해 T=0.02가 각각 최적임을 확인했으며, 데이터가 더 적을수록 더 강한 보정이 필요함을 시사했다.
• 시각화 결과 보정된 특징이 이방자들을 그들의 진짜 클래스 중심점에 더 가깝게 이동시키는 것을 확인했으며, 이는 편향된 특징 분포를 보정할 수 있음을 확인했다.