[논문 리뷰] Bi-directional Feature Reconstruction Network for Fine-Grained Few-Shot Image Classification

Jijie Wu, Dongliang Chang외 6명|arXiv (Cornell University)|2022. 11. 30.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 미세 분류 소수 샘플 이미지 분류를 위한 이중 방향 특징 복원 네트워크(Bi-FRN)를 제안하며, 지원 샘플에서 쿼리로의 복원을 통해 상위 클래스 간 변동성을 증가시키고, 쿼리에서 지원 샘플로의 복원을 통해 내부 클래스 간 변동성을 감소시키는 상호 복원 메커니즘을 도입한다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 성능을 달성하며, 이중 방향 특징 복원과 자체 복원 모듈을 통해 더 구분력 있는 미세 분류 특징을 학습함으로써 이전의 복원 기반 및 거리 기반 접근 방식을 능가한다.

ABSTRACT

The main challenge for fine-grained few-shot image classification is to learn feature representations with higher inter-class and lower intra-class variations, with a mere few labelled samples. Conventional few-shot learning methods however cannot be naively adopted for this fine-grained setting -- a quick pilot study reveals that they in fact push for the opposite (i.e., lower inter-class variations and higher intra-class variations). To alleviate this problem, prior works predominately use a support set to reconstruct the query image and then utilize metric learning to determine its category. Upon careful inspection, we further reveal that such unidirectional reconstruction methods only help to increase inter-class variations and are not effective in tackling intra-class variations. In this paper, we for the first time introduce a bi-reconstruction mechanism that can simultaneously accommodate for inter-class and intra-class variations. In addition to using the support set to reconstruct the query set for increasing inter-class variations, we further use the query set to reconstruct the support set for reducing intra-class variations. This design effectively helps the model to explore more subtle and discriminative features which is key for the fine-grained problem in hand. Furthermore, we also construct a self-reconstruction module to work alongside the bi-directional module to make the features even more discriminative. Experimental results on three widely used fine-grained image classification datasets consistently show considerable improvements compared with other methods. Codes are available at: https://github.com/PRIS-CV/Bi-FRN.

연구 동기 및 목표

• 기존의 소수 샘플 학습 방법이 미세 분류 이미지 분류에서 내부 클래스 간 변동성을 의도치 않게 증가시키고 상위 클래스 간 변동성을 감소시키는 한계를 해결하기 위해.
• 단일 방향 복원 방법이 내부 클래스 간 변동성을 효과적으로 감소시키지 못하는 점을 극복하기 위해.
• 동시에 상위 클래스 간 구분력을 향상시키고 내부 클래스 변동성을 억제하는 새로운 이중 방향 복원 메커니즘을 제안하기 위해.
• 자기 복원 모듈을 상호 복원 모듈과 통합하여 더 견고한 표현 학습을 위한 특징의 구분력을 향상시키기 위해.

제안 방법

• 모델은 이중 방향 특징 복원 메커니즘을 사용한다: 지원 특징에서 쿼리 특징을 복원하여 상위 클래스 간 변동성을 증가시키고, 쿼리 특징에서 지원 특징을 복원하여 내부 클래스 간 변동성을 감소시킨다.
• 특징 상호 복원 모듈(FMRM)을 도입하여 양방향 복원 오차를 가중치가 부여된 손실 함수를 통해 동시에 최적화한다.
• 특징의 자체 복원 모듈(FSRM)을 추가하여 특징의 구분력을 더욱 향상시킨다.
• 특징 추출 백본(예: Conv-4 또는 ResNet-12)을 사용한 후 분류를 위한 메트릭 학습을 수행하며, 복원 손실은 특징 수준에 적용된다.
• 복원 과정은 학습된 디코더(역 ResNet)를 사용하여 특징에서 이미지를 복원함으로써 복원 정확도를 시각화하고 검증할 수 있다.
• 전체 학습 목표는 메트릭 학습 손실과 이중 복원 손실을 조합하며, 상위 및 내부 클래스 학습 역학을 균형 잡기 위한 하이퍼파라미터를 포함한다.

실험 결과

연구 질문

• RQ1 이중 방향 복원 메커니즘이 미세 분류 소수 샘플 학습에서 내부 클래스 간 변동성을 효과적으로 감소시키고 상위 클래스 간 변동성을 증가시키는가?
• RQ2 쿼리에서 지원으로의 복원은 기존의 지원에서 쿼리로의 복원 방식에 비해 특징의 구분력을 어떻게 향상시키는가?
• RQ3 강한 감독 신호가 없는 상황에서 자체 복원 모듈의 포함이 특징 품질에 얼마나 기여하는가?
• RQ4 상호 복원 메커니즘이 단일 방향 또는 기준 방법에 비해 더 국소적이고 의미적으로 일관된 주의 맵을 유도하는가?
• RQ5 제안된 방법은 1-shot 및 5-shot 설정에서 다양한 미세 분류 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 Bi-FRN 방법은 CUB-200-211, Stanford Dogs, FG-WILLOW 세 가지 벤치마크 데이터셋에서 모두 최신 기술 성능을 달성하며, FRN 및 ProtoNet와 같은 이전 방법들을 능가한다.
• CUB-200-211 데이터셋에서 Bi-FRN은 ResNet-12를 사용하여 5-way 1-shot 설정에서 86.7%의 정확도를 기록하고, 5-way 5-shot 설정에서는 92.1%의 정확도를 달성한다.
• 제거 실험 결과, FSRM 및 FMRM 모듈이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어져 상호 보완적인 역할을 함을 입증한다.
• 상호 복원 모듈(FMRM)이 단일 방향 변종(S→Q 또는 Q→S)보다 우수한 성능을 보이며, 이중 방향 학습이 미세 분류 특징 학습에 더 효과적임을 증명한다.
• 시각화 결과, 동일 클래스의 샘플에서 복원된 특징은 의미적으로 일관되며, 다른 클래스에서 복원된 특징는 상이한 것으로 나타나, 모델이 견고하고 클래스에 맞춰진 표현을 학습할 수 있음을 확인한다.
• 디코더 기반 이미지 복원 실험 결과, 동일 클래스 샘플을 복원할 경우 구조적 및 의미적 세부 정보를 잘 유지함을 검증하였다.