[논문 리뷰] Few-shot Fine-grained Image Classification via Multi-Frequency Neighborhood and Double-cross Modulation

Hegui Zhu, Zhan Gao외 3명|arXiv (Cornell University)|2022. 07. 18.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 다중 주파수 이웃성(MFN)과 双-크로스 변조(DCM)를 사용하여 특징 표현과 정렬을 향상시키는 few-shot 세분화 이미지 분류 모델인 FicNet을 제안한다. MFN은 내부 클래스 변동을 줄이기 위해 공간적 및 주파수 도메인의 구조적 패턴을 캡처한다. DCM은 이중 크로스 컨볼루션과 3D 크로스 어텐션을 활용하여 전역적 맥락과 작업에 특화된 어텐션으로 특징을 변조한다. CUB-200에서 93.17%의 정확도와 Stanford Cars에서 95.36%의 정확도를 기록하여 일반적인 세분화 분류 방법을 능가한다.

ABSTRACT

Traditional fine-grained image classification typically relies on large-scale training samples with annotated ground-truth. However, some sub-categories have few available samples in real-world applications, and current few-shot models still have difficulty in distinguishing subtle differences among fine-grained categories. To solve this challenge, we propose a novel few-shot fine-grained image classification network (FicNet) using multi-frequency neighborhood (MFN) and double-cross modulation (DCM). MFN focuses on both spatial domain and frequency domain to capture multi-frequency structural representations, which reduces the influence of appearance and background changes to the intra-class distance. DCM consists of bi-crisscross component and double 3D cross-attention component. It modulates the representations by considering global context information and inter-class relationship respectively, which enables the support and query samples respond to the same parts and accurately identify the subtle inter-class differences. The comprehensive experiments on three fine-grained benchmark datasets for two few-shot tasks verify that FicNet has excellent performance compared to the state-of-the-art methods. Especially, the experiments on two datasets, "Caltech-UCSD Birds" and "Stanford Cars", can obtain classification accuracy 93.17\% and 95.36\%, respectively. They are even higher than that the general fine-grained image classification methods can achieve.

연구 동기 및 목표

• 소분류가 극소수의 훈련 샘플과 미세한 시각적 차이를 보이는 few-shot 세분화 이미지 분류 과제를 해결한다.
• 실세계 데이터에서 외관 및 배경 변화로 인한 내부 클래스 변동을 감소시킨다.
• 지원 및 쿼리 이미지의 국소적이고 분류에 유의미한 부분에 집중함으로써 클래스 간 분류 성능을 향상시킨다.
• 부분 레이블이나 바운딩 박스 없이도 강건하고 정렬된 표현을 학습함으로써 정확한 분류를 가능하게 한다.
• 구조적 어텐션과 주파수 인지 특징 학습을 통해 모델 성능과 계산 효율성을 균형 잡는다.

제안 방법

• 다중 주파수 이웃성(MFN)은 스펙트럼 분석을 통해 특징 맵을 다중 주파수 성분으로 분해하여 압축되고 부드러운 구조적 패턴을 추출한다.
• MFN은 이웃 영역 내 자기 유사성을 활용하여 불필요한 외관 및 배경 변화를 억제함으로써 강건성을 향상시킨다.
• 이중 크로스 변조(DCM)는 이중 크로스 컨볼루션(BCC)과 이중 3D 크로스 어텐션(DCA)을 조합하여 전역 맥락과 작업에 특화된 관계를 이용해 특징을 변조한다.
• BCC는 크로스 컨볼루션을 사용해 모든 방향에서 점진적으로 맥락을 통합함으로써 특징의 완전성을 향상시킨다.
• DCA는 3D 이중 크로스 컨볼루션을 사용해 4차원 크로스 상관 텐서를 정밀하게 조정함으로써 기하학적 세부 정보를 유지하면서도 분류에 기여하는 영역에 집중한다.
• DCM 모듈은 지원 및 쿼리 특징 간 크로스 어텐션을 가능하게 하여 시야각이나 가림 현상의 차이에도 불구하고 동일한 객체 부분에 대응하는 특징을 정렬한다.

실험 결과

연구 질문

• RQ1 다중 주파수 특징 표현은 few-shot 세분화 분류에서 배경 및 외관 변화로 인한 내부 클래스 변동을 줄일 수 있는가?
• RQ2 전역 맥락과 작업에 특화된 어텐션을 동시에 모델링하여 지원 및 쿼리 이미지 간 특징 정렬을 향상시킬 수 있는가?
• RQ3 3D 이중 크로스 어텐션은 표준 크로스 어텐션 메커니즘보다 공간적 세부 정보를 더 잘 유지하고 분류 성능을 향상시키는가?
• RQ4 이중 크로스 컨텍스트 통합은 특징의 완전성과 분류 정확도를 얼마나 향상시키는가?
• RQ5 제안된 방법은 부분 수준의 레이블이 필요 없이 최신 기준 성능을 달성할 수 있는가?

주요 결과

• FicNet은 5-shot 설정에서 CUB-200 데이터셋에서 93.17%의 정확도를 달성하여 일반적인 세분화 분류 방법을 초월했다.
• Stanford Cars 데이터셋에서 FicNet은 5-shot 설정에서 95.36%의 정확도를 기록하여 복잡한 차량 카테고리에 대한 강력한 일반화 능력을 입증했다.
• 제거 실험에서 DCM 내 BCC와 DCA를 조합함으로써 1-shot 및 5-shot 작업에서 각각 2.06%, 2.3%의 정확도 향상을 확인했다.
• BCC에서 두 번의 크로스 컨볼루션(L=2)을 적용한 것이 최적의 성능을 보였으며, 메모리 및 시간 오버헤드가 최소화되어 효율성과 정확도의 균형을 이루었다.
• CAN 및 CCA와 같은 표준 크로스 어텐션 모듈을 DCA로 대체함으로써 CUB-200 및 mini-ImageNet에서 각각 0.71%, 0.34%의 정확도 향상을 달성했다.
• MFN, BCC, DCA를 모두 포함한 FicNet 전체 모델은 CUB-200에서 1-shot 시점에 80.97%의 정확도, 5-shot 시점에 93.17%의 정확도를 기록하여 최신 기준 방법을 능가했다.