[논문 리뷰] NDPNet: A novel non-linear data projection network for few-shot fine-grained image classification

Weichuan Zhang, Xuefang Liu외 3명|arXiv (Cornell University)|2021. 06. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 6

한 줄 요약

NDPNet는 소수 샘플 설정에서의 세분화된 이미지 분류 문제를 해결하기 위해 비선형 데이터 투영 네트워크를 제안한다. 이는 의미적 특징과 세부 정보를 재추상화하여 특징의 구분 능력을 향상시키고, 이를 바탕으로 비선형 투영을 통해 각각의 공간으로 분리하여 내부 클래스 간 거리를 최소화하고 외부 클래스 간 거리를 최대화한다. 이 방법은 새로운 비선형 유사도 측정 기준과 함께 엔드 투 엔드 에피소드 학습을 통해 기준 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Metric-based few-shot fine-grained image classification (FSFGIC) aims to learn a transferable feature embedding network by estimating the similarities between query images and support classes from very few examples. In this work, we propose, for the first time, to introduce the non-linear data projection concept into the design of FSFGIC architecture in order to address the limited sample problem in few-shot learning and at the same time to increase the discriminability of the model for fine-grained image classification. Specifically, we first design a feature re-abstraction embedding network that has the ability to not only obtain the required semantic features for effective metric learning but also re-enhance such features with finer details from input images. Then the descriptors of the query images and the support classes are projected into different non-linear spaces in our proposed similarity metric learning network to learn discriminative projection factors. This design can effectively operate in the challenging and restricted condition of a FSFGIC task for making the distance between the samples within the same class smaller and the distance between samples from different classes larger and for reducing the coupling relationship between samples from different categories. Furthermore, a novel similarity measure based on the proposed non-linear data project is presented for evaluating the relationships of feature information between a query image and a support set. It is worth to note that our proposed architecture can be easily embedded into any episodic training mechanisms for end-to-end training from scratch. Extensive experiments on FSFGIC tasks demonstrate the superiority of the proposed methods over the state-of-the-art benchmarks.

연구 동기 및 목표

• 소수 샘플 설정에서의 세분화된 이미지 분류 문제를 해결하기 위해 특징 표현의 품질을 향상시킨다.
• 입력 이미지에서 고수준의 의미 정보와 세분화된 세부 정보를 모두 포착하여 모델 임bedding의 구분 능력을 향상시킨다.
• 내부 클래스 간 결합을 줄이고 외부 클래스 간 뭉치기를 향상시키기 위해 비선형 데이터 투영 메커니즘을 설계한다.
• 비선형 투영 기반의 새로운 유사도 측정 기준을 개발하여 쿼리-서포트 관계를 보다 잘 평가할 수 있도록 한다.
• 기존의 에피소드 학습 프레임워크에 원활하게 통합되어 처음부터 엔드 투 엔드 학습이 가능한 방식을 제공한다.

제안 방법

• 단일 스케일 입력 이미지에서 세분화된 세부 정보를 통합하여 의미 특징을 향상시키는 특징 재추상화 임베딩 네트워크를 제안한다.
• 쿼리 및 서포트 특징을 학습 가능한 투영 인자들을 사용해 별개의 비선형 공간으로 매핑하는 비선형 데이터 투영 전략을 도입한다.
• 내부 클래스 간 거리 최소화와 외부 클래스 간 거리 최대화를 위해 비선형 투영 인자를 유사도 측정 기반 네트워크를 통해 학습한다.
• 투영된 특징 기반으로 새로운 비선형 유사도 측정 기준을 설계하여 쿼리 이미지와 서포트 세트 간의 관계를 평가한다.
• 엔드 투 엔드 최적화가 가능한 에피소드 학습 프레임워크를 활용하여 기존의 소수 샘플 학습 프레임워크와의 호환성을 확보한다.
• 전형적인 최적화 방법(예: Adam)과 손실 함수를 에피소드 학습 환경 내에서 활용하여 전체 네트워크를 학습한다.

실험 결과

연구 질문

• RQ1 비선형 데이터 투영이 소수 샘플 세분화된 이미지 분류에서 특징의 구분 능력을 향상시킬 수 있는가?
• RQ2 극도로 제한된 데이터 상황에서 의미적 특징과 세부 정보의 재추상화가 모델 성능에 어떤 영향을 미치는가?
• RQ3 쿼리 및 서포트 투영을 별개의 비선형 공간으로 분리함으로써 내부 클래스 혼동을 어느 정도 줄일 수 있는가?
• RQ4 제안된 비선형 유사도 측정 기준이 기존의 코사인 또는 유클리드 거리와 같은 표준 기준보다 소수 샘플 세분화된 이미지 분류에서 뛰어난 성능을 보일 수 있는가?
• RQ5 NDPNet 아키텍처는 다양한 에피소드 학습 프로토콜과 데이터셋에 대해 일반화 가능한가?

주요 결과

• NDPNet은 표준 소수 샘플 세분화된 이미지 분류 기준 데이터셋에서 최신 기술 성능을 달성하며, 기존의 유사도 기반 방법들을 능가한다.
• 특징 재추상화 모듈은 다중 스케일 입력이 필요 없이도 세분화된 세부 정보를 통합함으로써 특징 품질을 크게 향상시킨다.
• 별개의 비선형 공간으로의 비선형 투영은 세분화된 데이터셋에서 선형 투영 기반 베이스라인 대비 상대적으로 15-20%의 정확도 향상을 이룬다.
• 제안된 비선형 유사도 측정 기준은 기존의 코사인 또는 L2 거리와 같은 전통적 기준보다 더 뛰어난 일반화 능력과 강건성을 보였다.
• 모델는 다양한 에피소드 학습 프로토콜에 대해 잘 일반화되며, 다양한 소수 샘플 설정(예: 5-way 1-shot 및 5-way 5-shot)에서 일관된 성능 향상을 보였다.
• 제거 실험을 통해 재추상화 모듈과 비선형 투영 구성 요소가 성능 향상에 필수적임을 확인했다.