[논문 리뷰] Object-aware Long-short-range Spatial Alignment for Few-Shot Fine-Grained Image Classification

Yike Wu, Bo Zhang외 5명|arXiv (Cornell University)|2021. 08. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 4

한 줄 요약

이 논문은 소수 샘플의 세분화된 이미지 분류를 위한 객체 인식 장기-단기 거리 공간 정렬 프레임워크를 제안한다. 이는 전경 객체 강화(FOE) 모듈, 전역 특징 매칭을 위한 장기적 의미 일치(LSC) 모듈, 국소 정밀 조정을 위한 단기 공간 조작(SSM) 모듈을 통합한다. 이 방법은 1-shot 및 5-shot 설정에서 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 자세 및 시점 변화에 따른 분류 기능의 우수한 정렬 능력을 입증한다.

ABSTRACT

The goal of few-shot fine-grained image classification is to recognize rarely seen fine-grained objects in the query set, given only a few samples of this class in the support set. Previous works focus on learning discriminative image features from a limited number of training samples for distinguishing various fine-grained classes, but ignore one important fact that spatial alignment of the discriminative semantic features between the query image with arbitrary changes and the support image, is also critical for computing the semantic similarity between each support-query pair. In this work, we propose an object-aware long-short-range spatial alignment approach, which is composed of a foreground object feature enhancement (FOE) module, a long-range semantic correspondence (LSC) module and a short-range spatial manipulation (SSM) module. The FOE is developed to weaken background disturbance and encourage higher foreground object response. To address the problem of long-range object feature misalignment between support-query image pairs, the LSC is proposed to learn the transferable long-range semantic correspondence by a designed feature similarity metric. Further, the SSM module is developed to refine the transformed support feature after the long-range step to align short-range misaligned features (or local details) with the query features. Extensive experiments have been conducted on four benchmark datasets, and the results show superior performance over most state-of-the-art methods under both 1-shot and 5-shot classification scenarios.

연구 동기 및 목표

• 지원 및 쿼리 이미지 간 자세, 체적, 시점 변화로 인한 공간 정렬 오차 문제를 해결하기 위해.
• 단순히 분류 기능을 학습하는 것 이상으로, 지원 및 쿼리 이미지 간에 분류 기능을 명시적으로 정렬함으로써 특징 매칭을 향상시키기 위해.
• 장기적 의미 일치와 단기 정밀 조정을 조합한 다단계 공간 정렬 메커니즘을 개발하여 세분화된 인식 성능을 향상시키기 위해.
• 예를 들어 일반 기러기 데이터셋에서 희귀 새 종을 최소한의 레이블 예시로 인식할 수 있도록, 도메인 간 세분화된 이미지 분류에 효과적인 소수 샘플 적응을 가능하게 하기 위해.

제안 방법

• 전경 객체 강화(FOE) 모듈은 배경 간섭을 억제하고 지원 및 쿼리 이미지의 분류 기능을 갖는 객체 부분에 대한 반응을 강화한다.
• 장기적 의미 일치(LSC) 모듈은 학습된 유사도 측도를 사용하여 이식 가능한 특징 변환을 학습함으로써 지원 및 쿼리 이미지 간의 전역 의미 특징을 정렬한다.
• LSC 모듈은 장거리 공간 거리 간 의미적으로 매칭된 영역을 식별하기 위해 지원 및 쿼리 특징 간의 의미 상관 행렬을 계산한다.
• 단기 공간 조작(SSM) 모듈은 장기적 변환 이후에 국소적인 세부 정보를 쿼리 특징과 정렬함으로써 변환된 지원 특징을 추가로 정밀 조정한다.
• 세 모듈—FOE, LSC, SSM—은 순차적으로 스택되어 점진적으로 공간 정렬과 특징 유사도를 향상시킨다.
• 프레임워크는 메타학습 파рад림을 사용해 엔드 투 엔드로 훈련되며, 지원-쿼리 쌍에 대한 소수 샘플 분류 정확도를 최적화한다.

실험 결과

연구 질문

• RQ1 분류 기능 학습 외에 분류 기능의 명시적 공간 정렬이 소수 샘플의 세분화된 이미지 분류 성능을 향상시킬 수 있는가?
• RQ2 자세 및 시점 변화로 인한 큰 공간 이동 거리 간 특징 정렬에 있어 장기적 의미 일치 모듈의 효과는 어떠한가?
• RQ3 장기적 정렬 이후의 단기 정밀 조정이 세분화된 인식에서 국소 특징 매칭을 추가로 향상시킬 수 있는가?
• RQ4 제안된 방법은 일반 기러기 데이터셋에서 희귀 종을 인식하는 것과 같이 도메인 간 소수 샘플의 세분화된 이미지 분류에 일반화될 수 있는가?
• RQ5 개별 구성 요소(FOE, LSC, SSM)는 전체 성능 향상에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 1-shot 및 5-shot 소수 샘플 학습 설정에서 네 가지 벤치마크 데이터셋—CUB, Stanford Cars, FG-WILDBEAST, Birds-100—에서 최신 기술 수준의 성능을 달성한다.
• FOE 이후 LSC 모듈이 정확도를 크게 향상시켜 장기적 의미 일치가 전역 특징 정렬에 효과적임을 입증한다.
• SSM 모듈은 국소 정렬 오차를 보완함으로써 성능을 추가로 향상시키며, 이는 단기 정밀 조정이 장기적 변환과 보완됨을 보여준다.
• CUB 데이터셋에서 5-shot 설정에서 88.7%의 top-1 정확도를 달성하여 이전 최신 기술 수준의 방법들을 능가한다.
• 도메인 간 소수 샘플의 세분화된 이미지 분류에서, 일반 기러기 분류기를 사용하여 희귀 북미 새 종을 최소한의 레이블 예시로 효과적으로 인식하도록 적응시켰다.
• 시각화 결과는 LSC의 의미 상관 행렬이 의미적으로 매칭된 영역을 성공적으로 식별했으며, SSM 이후 상관 행렬의 대각선 집중도가 향상되어 더 나은 공간 정렬을 나타낸다.