[논문 리뷰] Weakly-supervised Object Localization for Few-shot Learning and Fine-grained Few-shot Learning

Xiaojian He, Jinfu Lin외 1명|arXiv (Cornell University)|2020. 03. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 6

한 줄 요약

이 논문은 자기주의 기반 보완 모듈(SAC)을 사용하여 특징적인 영역을 국소화하고, 의미 정렬 모듈(SAM)을 통해 최근접 이웃 정렬을 통한 강력한 유사도 거리 측정을 수행함으로써, 소수 샘플 및 세분화된 소수 샘플 학습을 위한 약한 지도 학습 기반 객체 국소화 방법을 제안한다. 이 방법은 특히 세분화된 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 데이터셋 간 국소화 정확도와 일반화 능력에서 뚜렷한 향상을 보인다.

ABSTRACT

Few-shot learning (FSL) aims to learn novel visual categories from very few samples, which is a challenging problem in real-world applications. Many methods of few-shot classification work well on general images to learn global representation. However, they can not deal with fine-grained categories well at the same time due to a lack of subtle and local information. We argue that localization is an efficient approach because it directly provides the discriminative regions, which is critical for both general classification and fine-grained classification in a low data regime. In this paper, we propose a Self-Attention Based Complementary Module (SAC Module) to fulfill the weakly-supervised object localization, and more importantly produce the activated masks for selecting discriminative deep descriptors for few-shot classification. Based on each selected deep descriptor, Semantic Alignment Module (SAM) calculates the semantic alignment distance between the query and support images to boost classification performance. Extensive experiments show our method outperforms the state-of-the-art methods on benchmark datasets under various settings, especially on the fine-grained few-shot tasks. Besides, our method achieves superior performance over previous methods when training the model on miniImageNet and evaluating it on the different datasets, demonstrating its superior generalization capacity. Extra visualization shows the proposed method can localize the key objects more interval.

연구 동기 및 목표

• 전반적인 표현이 세분화된 세부 사항을 포착하지 못하는 저자료 환경에서 소수 샘플 학습의 과제를 해결하기 위해.
• 경계 상자 애너테이션을 요구하지 않고도 분류 성능을 향상시키기 위해 분류 가능한 객체 영역을 국소화하기 위해.
• 프로토타입 평균화를 최근접 이웃 기반 의미 정렬로 대체함으로써 특징 표현의 안정성을 향상시키기 위해.
• 다양한 소수 샘플 및 세분화된 소수 샘플 데이터셋에 일반화 가능한 경량이며 엔드 투 엔드 학습 가능한 모듈을 개발하기 위해.

제안 방법

• 자기주의 기반 보완 모듈(SAC)은 채널 기반 주의 모듈(CBAM)을 사용하여 특징 맵에서 중요도 마스크와 보완적 삭제 마스크를 생성한다.
• 분류기는 원본 특징과 마스크 처리된 특징에 대해 이중 분류를 수행하여 두 개의 클래스 활성화 맵(CAMs)을 생성하고, 이를 융합하여 보다 완전하고 통합된 객체 국소화를 생성한다.
• 융합된 CAM 기반으로 가장 활성화된 영역에서의 깊은 서술자를 보간을 통해 선택하여 분류 가능한 국소적 특징에 집중한다.
• 의미 정렬 모듈(SAM)은 각 쿼리 서술자를 지원 서술자 중에서 가장 가까운 이웃과 매칭함으로써 의미 정렬 거리를 계산하여 노이즈에 대한 강건성을 향상시킨다.
• 이 프레임워크는 엔드 투 엔드 학습이 가능하며, VGG-16 및 ResNet과 같은 다양한 백본과 호환된다.
• 추가적인 데이터 증강이나 애너테이션 기반 환영 네트워크에 의존하는 대신, 주의 기반 국소화와 상대적 유사도 학습에 집중한다.

실험 결과

연구 질문

• RQ1 의사 지도 학습 기반 객체 국소화가 분류 가능한 국소적 영역에 집중함으로써 소수 샘플 분류 성능을 향상시킬 수 있는가?
• RQ2 주의 기반 보완적 특징 학습이 표준 CAM 방법에 비해 국소화 정확도를 어떻게 향상시키는가?
• RQ3 저자료 환경에서 프로토타입 평균화에 비해 최근접 이웃 기반 의미 정렬이 소수 샘플 학습에서 더 우수한 성능을 내는가?
• RQ4 제안된 방법이 다양한 소수 샘플 및 세분화된 소수 샘플 데이터셋에 얼마나 잘 일반화되는가?
• RQ5 SAC 및 SAM 모듈이 효과적으로 조합되어 국소화 및 분류 성능을 동시에 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 1-shot에서 Stanford Cars에서 82.24%의 정확도를 기록했으며, 5-shot에서는 95.43%를 기록하여 세분화된 소수 샘플 작업에서 이전 방법들보다 뚜렷한 승리를 거두었다.
• CUB-200-2011에서 5-shot에서는 83.72%의 정확도를 달성하여 세분화된 분류 작업에서 강력한 성능을 보였다.
• 제거 실험 결과, SAM을 사용할 경우 5-shot 설정에서 유사도 거리로 유사도를 측정하는 것보다 ResNet 백본에서 25.11% 향상된 성능을 기록하였다.
• SAC 모듈만을 사용할 경우 기준 모델 대비 1-shot에서 4.47% 향상되었고, 5-shot에서는 4.19% 향상되었다.
• 시각화 결과 SAC 모듈이 표준 CAM보다 더 완전하고 통합된 객체 영역을 국소화하는 것으로 확인되었으며, 특히 세분화된 데이터셋에서 뚜렷한 성능 향상을 보였다.
• miniImageNet에서 훈련된 모델은 미리 보지 않은 데이터셋으로도 잘 일반화되었으며, Stanford Cars에서 1-shot에서는 58.11%의 정확도, 5-shot에서는 77.83%의 정확도를 기록하였다.