[논문 리뷰] Variational Feature Disentangling for Fine-Grained Few-Shot Classification

Jingyi Xu, Hieu Lê외 3명|arXiv (Cornell University)|2020. 10. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 미세한 분류의 소수 샘플 학습을 위한 변동형 특징 분리 프레임워크(VFD)를 제안하며, 특징을 클래스 구별 특징과 내부 클래스 변동 성분으로 분리한다. 기본 클래스에서 학습된 공통 등방성 정규분포를 통해 내부 클래스 변동을 모델링함으로써, 클래스 정체성을 유지하면서도 다양한 현실적인 증강 예측을 생성한다. CUB, NAB, 스탠포드 도그 데이터셋에서 기존 방법 대비 최대 4.6% 향상된 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Fine-grained few-shot recognition often suffers from the problem of training data scarcity for novel categories.The network tends to overfit and does not generalize well to unseen classes due to insufficient training data. Many methods have been proposed to synthesize additional data to support the training. In this paper, we focus one enlarging the intra-class variance of the unseen class to improve few-shot classification performance. We assume that the distribution of intra-class variance generalizes across the base class and the novel class. Thus, the intra-class variance of the base set can be transferred to the novel set for feature augmentation. Specifically, we first model the distribution of intra-class variance on the base set via variational inference. Then the learned distribution is transferred to the novel set to generate additional features, which are used together with the original ones to train a classifier. Experimental results show a significant boost over the state-of-the-art methods on the challenging fine-grained few-shot image classification benchmarks.

연구 동기 및 목표

• 제한된 학습 샘플로 인해 과적합과 일반화 부족이 발생하는 미세한 분류의 소수 샘플 학습 문제를 해결한다.
• 모드 붕괴 또는 관련 없는 변동을 유도하는 기존 데이터 증강 방법의 한계를 극복한다.
• 증강된 샘플이 클래스 구별 특징을 유지하면서도 높은 내부 클래스 다양성을 보이도록 보장한다.
• 모든 카테고리 간 공통된 내부 클래스 변동을 모델링하여 기본 클래스에서 신규 클래스로의 일반화 능력을 향상시킨다.
• 특징을 구별 특징과 변동 성분으로 분리함으로써 효과적인 분포 기반 증강을 가능하게 하고, 소수 샘플 분류 정확도를 향상시킨다.

제안 방법

• 이미지 특징을 두 성분으로 분리한다: 특징 맵의 max-pooling을 통해 확보한 클래스 구별 특징 $ z_I $ 와 변동형 추론을 통해 모델링한 내부 클래스 변동 특징 $ z_V $.
• 기본 클래스에서 풍부한 데이터를 바탕으로, 모든 클래스에 공통적으로 적용되는 등방성 정규분포를 학습하기 위해 변동형 오토인코더(VAE)를 사용한다.
• 학습된 $ z_V $ 분포에서 여러 번 샘플링하여 다양한 내부 클래스 변동을 생성하고, 이를 클래스 구별 특징 $ z_I $ 와 합쳐 증강된 특징을 구성한다.
• 두 가지 감독 신호를 사용해 모델을 훈련한다: $ z_I $ 에 대한 교차 엔트로피 분류 손실과 $ z_V $ 에 대한 VAE 재구성 손실을 통해 특징 분리를 보장한다.
• 훈련된 프레임워크를 활용해, 동일한 분포를 사용하여 신규 클래스의 소수 샘플 지원 집합을 증강함으로써, 클래스 정체성을 유지하면서 다양성을 증가시킨다.
• t-SNE 시각화와 클러스터링 지표(DBI, 내부/외부 클래스 거리)를 활용해 생성된 특징의 현실성과 분포 충실도를 평가한다.

실험 결과

연구 질문

• RQ1 공통의, 분리된 표현 방식으로 내부 클래스 변동을 모델링하면, 미세한 분류의 소수 샘플 학습에서 데이터 증강 성능이 향상되는가?
• RQ2 공통된 등방성 정규분포를 사용해 변동형 오토인코더로 내부 클래스 변동을 모델링하면, 더 현실적이고 다양한 증강 샘플을 생성할 수 있는가?
• RQ3 이러한 분리된 특징 증강 기법은 클래스 구별 특징을 유지하면서도 내부 클래스 변동을 증가시킬 수 있는가?
• RQ4 생성된 특징의 분포가 실제 데이터와 비교해 클러스터의 단단함과 클래스 간 분리 정도 측면에서 어떻게 다른가?
• RQ5 기존의 데이터 증강 기반 방법에 비해 이 방법은 소수 샘플 미세 분류에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• 제안된 방법은 CUB 데이터셋에서 5샷 설정에서 91.48%의 정확도를 기록하며, 이전 최신 기술 수준(SOTA) 방법보다 4.6% 포인트 높은 성능을 달성한다.
• NAB 데이터셋에서는 5샷 설정에서 95.22%의 정확도를 기록하며, 이전 SOTA 대비 1.04% 향상되었다.
• 본 연구에서 생성된 특징는 실제 볼 수 없는 특징의 분포를 밀도 높게 근사하며, Davies–Bouldin 지수(DBI)가 2.53으로 실제 데이터의 3.02에 가깝고, 경쟁 방법보다 유의미하게 우수하다.
• 증강된 특징의 내부 클래스 변동(27.27)은 다른 방법에 비해 실제 데이터(28.97)와 훨씬 가깝지만, $Δ$-encoder 방법은 변동을 10.34로 줄여 분포 붕괴를 보였다.
• t-SNE 시각화 결과, 본 연구에서 생성한 샘플은 동일한 클래스의 실제 데이터 포인트 근처에 위치한 반면, $Δ$-encoder는 실제 데이터 분포에서 벗어난 새로운 고립된 클러스터를 생성하였다.
• 증강 샘플 수가 증가함에 따라 성능 저하 없이 높은 성능 유지를 보이며, 생성된 특징가 의미 있고 중복되지 않음을 확인하였다.