[논문 리뷰] Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration

Qiwei Wang, Da-Wei Zhou외 3명|arXiv (Cornell University)|2023. 12. 08.

Domain Adaptation and Few-Shot Learning인용 수 17

한 줄 요약

TEEN은 의미적 유사성을 이용해 편향된 새로운 클래스 프로토타입을 가중된 기본 프로토타입과 융합하는 훈련 없는 프로토타입 보정 방법을 제안하여 추가 학습 없이 FSCIL에서 새로운 클래스 구분력을 높인다.

ABSTRACT

Real-world scenarios are usually accompanied by continuously appearing classes with scare labeled samples, which require the machine learning model to incrementally learn new classes and maintain the knowledge of base classes. In this Few-Shot Class-Incremental Learning (FSCIL) scenario, existing methods either introduce extra learnable components or rely on a frozen feature extractor to mitigate catastrophic forgetting and overfitting problems. However, we find a tendency for existing methods to misclassify the samples of new classes into base classes, which leads to the poor performance of new classes. In other words, the strong discriminability of base classes distracts the classification of new classes. To figure out this intriguing phenomenon, we observe that although the feature extractor is only trained on base classes, it can surprisingly represent the semantic similarity between the base and unseen new classes. Building upon these analyses, we propose a simple yet effective Training-frEE calibratioN (TEEN) strategy to enhance the discriminability of new classes by fusing the new prototypes (i.e., mean features of a class) with weighted base prototypes. In addition to standard benchmarks in FSCIL, TEEN demonstrates remarkable performance and consistent improvements over baseline methods in the few-shot learning scenario. Code is available at: https://github.com/wangkiw/TEEN

연구 동기 및 목표

• 고정된 특징 추출기와 편향된 프로토타입을 사용할 때 FSCIL에서 새로운 클래스의 성능이 왜 저조한지 이해한다.
• 추가적인 최적화 없이 새로운 클래스의 판별력을 높이기 위한 훈련 없는 보정 전략을 개발한다.
• 기본 클래스와 새로운 클래스 간의 의미적 유사성을 활용하여 새로운 프로토타입을 보정한다.
• 표준 FSCIL 벤치마크에서 TEEN을 평가하고 기본 클래스와 새로운 클래스 성능에 미치는 영향을 평가한다.

제안 방법

• 기본 프로토타입이 새로운 클래스와의 유사성에 대해 잘 보정되어 있고 정보가 풍부하다는 것을 확인한다.
• 새로운 클래스 프로토타입 c_n을 편향된 프로토타입과 기본 프로토타입 기반 보정 항을 혼합하여 보정한다: c_n = b1 c_n + (1- b1) c_n, where c_n = sum_b w_{b,n} c_b.
• 새로운 프로토타입과 기본 프로토타입 간의 유사도를 코사인 유사도 S_{b,n} = (c_b · c_n) / (||c_b|| ||c_n||) × τ를 사용하여 계산하고, 기본 프로토타입에 대해 소프트맥스 방식으로 가중치 w_{b,n}를 도출한다.
• 훈련 없이 융합을 시演하기 위해 특정 데이터셋의 경우 보정된 프로토타입을 0.5 c_n + 0.5 sum_b w_{b,n} c_b로 설정한다(데이터셋에 따라).
• 이 방법이 기본 작업 학습 이후 추가 학습 가능한 매개변수 없이 plug-and-play 모듈로 작동함을 입증한다.

실험 결과

연구 질문

• RQ1 베이스 클래스 프로토타입이 포착한 의미 정보를 재학습 없이 FSCIL의 새로운 클래스 구분력 향상에 사용할 수 있는가?
• RQ2 훈련 없는 프로토타입 보정이 새로운 클래스 샘플의 기본 클래스으로의 오분류를 줄이는가?
• RQ3 TEEN이 기본 클래스와 새로운 클래스의 성능 및 FSCIL 성능의 전체 조화에 어떤 영향을 미치는가?

주요 결과

• TEEN은 평균 정확도를 더 높게 달성하고 FSCIL 벤치마크에서 새로운 클래스 정확도를 약 10.02%에서 18.40% 포인트 차이로 2위 대비 크게 향상시킨다.
• TEEN은 기저선 대비 거짓 양성률(FPR)과 새로운 클래스를 기본 클래스로의 오분류(TBR)를 낮춘다.
• TEEN은 FSCIL 외의 소수 샷 학습 시나리오에서도 학습 비용 없이 기본 특징 추출 외에 경쟁력 있는 성능을 유지한다.
• 보정은 훈련 없이 이루어지며, 기본 및 새로운 프로토타입 간의 의미적 유사성에 의존하는 plug-and-play 모듈로 작동한다.
• 특성화 연구에서 유사도 기반 가중치(방정식 6)가 단순한 최근 기본 프로토타입 정렬보다 우수하다고 보여주며, 의미 기반 가중치의 가치를 확인한다.