[논문 리뷰] Learning Adaptive Classifiers Synthesis for Generalized Few-Shot Learning

Han-Jia Ye, Hexiang Hu외 1명|arXiv (Cornell University)|2019. 06. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 72인용 수 13

한 줄 요약

이 논문은 일반화된 소수 샘플 학습(GFSL)을 위한 신경망 프레임워크인 Castle과 aCastle을 제안한다. 이들은 공유된 신경 사전을 사용하여 校정된 소수 샘플 분류기를 합성함으로써, 기존에 학습된(헤드) 클래스에서 새로운(테일) 클래스로 효과적인 인덕티브 지식 전이를 가능하게 한다. aCastle은 테일 예제를 활용해 헤드 분류기를 동적으로 적응시킴으로써, 소수 샘플 및 일반화된 소수 샘플 평가 프로토콜 모두에서 MiniImageNet과 Tiered-ImageNet에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Object recognition in the real-world requires handling long-tailed or even open-ended data. An ideal visual system needs to recognize the populated head visual concepts reliably and meanwhile efficiently learn about emerging new tail categories with a few training instances. Class-balanced many-shot learning and few-shot learning tackle one side of this problem, by either learning strong classifiers for head or learning to learn few-shot classifiers for the tail. In this paper, we investigate the problem of generalized few-shot learning (GFSL) -- a model during the deployment is required to learn about tail categories with few shots and simultaneously classify the head classes. We propose the ClAssifier SynThesis LEarning (CASTLE), a learning framework that learns how to synthesize calibrated few-shot classifiers in addition to the multi-class classifiers of head classes with a shared neural dictionary, shedding light upon the inductive GFSL. Furthermore, we propose an adaptive version of CASTLE (ACASTLE) that adapts the head classifiers conditioned on the incoming tail training examples, yielding a framework that allows effective backward knowledge transfer. As a consequence, ACASTLE can handle GFSL with classes from heterogeneous domains effectively. CASTLE and ACASTLE demonstrate superior performances than existing GFSL algorithms and strong baselines on MiniImageNet as well as TieredImageNet datasets. More interestingly, they outperform previous state-of-the-art methods when evaluated with standard few-shot learning criteria.

연구 동기 및 목표

• 모델이 데이터가 풍부한 헤드 클래스와 데이터가 부족한 테일 클래스를 동시에 분류할 수 있도록 일반화된 소수 샘플 학습(GFSL)의 과제를 해결하기 위해.
• 학습 중에 테일 데이터가 필요 없이도 기존 클래스에서 새로운 클래스로의 지식 전이를 가능하게 하여, 유도적 접근의 한계를 극복하기 위해.
• 헤드 및 테일 분류기 간의 예측을 校정함으로써, 기존 및 새로운 카테고리 간의 신뢰도 격차를 줄이기 위해.
• 소수 샘플 분류기를 합성하면서도 많은 샘플을 가진 헤드 클래스에서 높은 성능을 유지하는 통합 프레임워크를 설계하기 위해.
• 테일 카테고리가 이질적인 시각적 도메인에서 올 경우 효과적인 역지식 전이를 가능하게 하기 위해.

제안 방법

• Castle는 공유된 신경 사전을 사용하여 서포트 세트 임베딩에서 校정된 소수 샘플 분류기를 합성함으로써, 헤드 및 테일 분류기를 함께 학습할 수 있도록 한다.
• 이 프레임워크는 다중 분류 및 소수 샘플 분류 손실을 통합한 유일한 목표 함수를 최적화하며, 클래스별 결정 경계를 모델링하기 위해 신경 사전을 통한 분류기 합성 방식을 사용한다.
• aCastle은 테일 서포트 예제가 들어올 때마다 헤드 분류기 파라미터를 동적으로 적응시킴으로써, 역지식 전이를 가능하게 하여 Castle을 확장한다.
• 각 클래스별로 서포트 임베딩을 평균화한 후 신경 사전에 입력함으로써 분류기 합성을 수행함으로써, 샷 수 변동에 대한 강건성을 확보한다.
• 이 방법은 각 메타배치에 다양한 조합의 헤드 및 테일 분류기를 포함하는 다중 분류기 학습 전략을 사용하여 일반화 성능을 향상시킨다.
• GFSL 평가에는 조화 평균 지표를 사용하며, 새로운 클래스에 대해 사용 가능한 모든 훈련 이미지를 사용한 상한 모델을 구현하여 성능 격차를 측정한다.

실험 결과

연구 질문

• RQ1 학습 중에 테일 데이터에 접근할 수 없음에도 불구하고, 일반화된 소수 샘플 학습 환경에서 헤드 및 테일 클래스를 효과적으로 분류할 수 있는 방법은 무엇인가?
• RQ2 기존 및 새로운 클래스 간의 신뢰도 격차를 줄이기 위해 소수 샘플 및 다수 샘플 분류기를 校정하는 것이 어떤 영향을 미치는가?
• RQ3 테일 예제를 활용한 헤드 분류기의 동적 적응은 이질적인 시각적 도메인에서의 일반화를 향상시킬 수 있는가?
• RQ4 신경 사전 기반의 분류기 합성 방식은 소수 샘플 및 일반화된 소수 샘플 상황에서 표준 프로토타입 네트워크와 비교해 어떻게 성능을 냈는가?
• RQ5 현재 GFSL 방법과 새로운 클래스에 대해 사용 가능한 모든 훈련 데이터를 사용한 상한 모델 간의 성능 격차는 얼마인가?

주요 결과

• aCastle은 5-way 5-shot MiniImageNet에서 평균 정확도 82.08%와 조화 평균 정확도 78.33%를 달성하여 이전의 SOTA 방법을 능가한다.
• 20-way 5-shot MiniImageNet에서는 aCastle이 소수 샘플 정확도 57.29%와 GFSL 조화 평균 56.33%를 기록하여 이전 접근 방식을 크게 앞서 간다.
• 5-way 5-shot에서 aCastle과 상한 모델(UB) 간의 성능 격차는 4.8%이며, 20-way 5-shot에서는 12.4%로 나타나 향후 개선 여지가 있음을 시사한다.
• Castle는 ProtoNet과 순수 합성 분류기보다 뛰어난 성능을 보이며, 신경 사전 기반의 분류기 합성이 효과적임을 입증한다.
• 다양한 샷 수에 대해 사전 평균화 전략(Pre-AVG)이 사후 평균화(Pre-AVG)보다 더 높은 성능을 내어, 이 프레임워크에서의 사용을 정당화한다.
• 다중 분류기 학습 전략은 일반화 성능을 향상시키며, 분류기 수가 증가함에 따라 성능가 상한 모델에 점차 수렴한다.