[논문 리뷰] Hierarchical Representation based Query-Specific Prototypical Network for Few-Shot Image Classification

Yaohui Li, Huaxiong Li외 2명|arXiv (Cornell University)|2021. 03. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 4

한 줄 요약

이 논문은 계층적 특징 표현과 주의 기반 영역 선택을 통해 쿼리별로 특화된 영역 수준의 프로토타입을 생성함으로써 소수 샘플 이미지 분류 성능을 향상시키는 쿼리-특화 프로토타입 네트워크(QPN)를 제안한다. 위치적 및 스케일 기반 의미적 정렬을 달성함으로써 QPN은 5개의 벤치마크(세부 분류 데이터셋 포함)에서 최신 기술을 초월하며, 5-way 1-shot 설정에서 miniImageNet에서 54.92%의 정확도를 기록한다.

ABSTRACT

Few-shot image classification aims at recognizing unseen categories with a small number of labeled training data. Recent metric-based frameworks tend to represent a support class by a fixed prototype (e.g., the mean of the support category) and make classification according to the similarities between query instances and support prototypes. However, discriminative dominant regions may locate uncertain areas of images and have various scales, which leads to the misaligned metric. Besides, a fixed prototype for one support category cannot fit for all query instances to accurately reflect their distances with this category, which lowers the efficiency of metric. Therefore, query-specific dominant regions in support samples should be extracted for a high-quality metric. To address these problems, we propose a Hierarchical Representation based Query-Specific Prototypical Network (QPN) to tackle the limitations by generating a region-level prototype for each query sample, which achieves both positional and dimensional semantic alignment simultaneously. Extensive experiments conducted on five benchmark datasets (including three fine-grained datasets) show that our proposed method outperforms the current state-of-the-art methods.

연구 동기 및 목표

• 측정 기반 소수 샘플 학습에서 고정된 프로토타입의 한계를 해결하여 각 쿼리의 고유한 공간적 및 의미적 특성에 맞는 구분 가능한 영역을 포착하지 못하는 문제를 해결한다.
• 이미지 간 객체의 스케일과 위치의 다양성으로 인한 특징 공간 내의 비일치 문제를 해결한다.
• 배경 영역을 제거하고 의미적으로 관련 있는, 구분 가능한 영역에 집중함으로써 거리 측정의 효율성을 향상시킨다.
• 이전의 소수 샘플 학습 기반 방법들과 비교해 더 나은 도메인 간 일반화 성능을 확보하기 위해 이식 가능한, 쿼리에 적응하는 표현을 학습한다.
• 복잡한 다중 스케일 모듈을 대체하기 위해 성능을 유지하면서도 파rameter를 줄이는 경량 계층적 풀링 전략을 도입한다.

제안 방법

• 지원 및 쿼리 특징에서 구분 가능한 핵심 영역을 식별하기 위해 컨volutional Block Attention Module(CBAM)을 활용한다.
• 쿼리 영역과 지원 영역 간 국소 유사도를 계산하여 프로토타입 생성을 위한 쿼리 관련 지원 영역을 선택한다.
• 쿼리와의 유사도에 따라 선택된 지원 영역을 재가중하여 쿼리별로 특화된 프로토타입을 구성한다.
• 다중 스케일 최대 풀링을 통해 스케일에 강인한 특징을 캡처하면서도 추가적인 파rameter를 크게 증가시키지 않는 계층적 표현을 구현한다.
• 최종 표현에서 다양한 특징 스케일의 영향을 균형 잡기 위해 학습 가능한 생성 계수(ξ)를 사용한다.
• 쿼리 특징와 쿼리-특화 프로토타입 간의 거리를 계산하기 위해 코사인 유사도를 메트릭 함수로 채택한다.

실험 결과

연구 질문

• RQ1 각 쿼리의 고유한 공간적 및 의미적 특성에 맞게 적응하는 쿼리-특화 프로토타입이 소수 샘플 분류 성능을 향상시킬 수 있는가?
• RQ2 계층적 다중 스케일 표현이 구분 가능한 영역의 스케일 변동성에 대해 어떻게 강건성을 향상시키는가?
• RQ3 주의와 국소 유사도를 통해 관련 없는 영역을 걸러내는 것이 거리 측정 정확도에 얼마나 기여하는가?
• RQ4 기존의 소수 샘플 학습 기반 방법들과 비교해 제안된 방법이 도메인 간 일반화 성능에서 더 나은가?
• RQ5 복잡한 다중 스케일 모듈(예: Inception Operator)에 비해 파rameter가 적은 경량 계층적 풀링 메커니즘이 성능을 뛰어나게 할 수 있는가?

주요 결과

• 5-way 1-shot 설정에서 QPN은 miniImageNet에서 54.92%의 정확도를 기록하여 이전 최고 성능(Gaussian 유사도 기반)인 54.08%를 초월한다.
• 5-way 5-shot 설정에서는 73.18%의 정확도를 기록하여, 더 강력한 백본을 사용한 모든 비교 방법들을 압도한다.
• 도메인 간 평가(기존 miniImageNet → CUB-200-2011)에서 QPN은 66.19%의 정확도를 기록하여 기준 방법보다 0.62%p 높은 성능을 보였다.
• QPN은 총 0.150M개의 학습 가능한 파rameter만을 사용하여, GCR(1.755M)에 비해 훨씬 파rameter 효율적이며, ProtoNet과 같은 단순 모델과 유사한 수준이다.
• 제거 실험 결과, 생성 계수 ξ는 성능에 중간 정도의 영향을 미치며, 최적의 값은 약 5~7 사이로 확인되었다.
• 코사인 유사도가 가우시안 유사도보다 더 뛰어난 성능을 보였으며, 1-shot 설정에서 0.84%p 향상되었고, 5-shot 설정에서는 0.55%p 향상되었다.