[논문 리뷰] Forward Compatible Few-Shot Class-Incremental Learning

Da-Wei Zhou, Fuyun Wang외 4명|arXiv (Cornell University)|2022. 03. 14.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

이 논문은 적은 샘플로 새로운 클래스를 학습하는 소수의 클래스 증강 학습(Few-shot Class-Incremental Learning, FSCIL)을 위한 새로운 프레임워크인 Forward Compatible Training (Fact)을 제안한다. Fact는 임bedding 공간에 가상의 프로토타입을 사전 할당하여 향후 클래스를 위한 공간을 확보함으로써 전방 호환성을 향상시킨다. 이 가상의 프로토타입을 최적화하고 인스턴스 혼합을 통해 가상의 인스턴스를 생성함으로써, 모델은 치명적인 잊음에 강건해지고 성능 저하를 최소화하면서 새로운 클래스를 효율적으로 통합할 수 있다. 이는 기준 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

Novel classes frequently arise in our dynamically changing world, e.g., new users in the authentication system, and a machine learning model should recognize new classes without forgetting old ones. This scenario becomes more challenging when new class instances are insufficient, which is called few-shot class-incremental learning (FSCIL). Current methods handle incremental learning retrospectively by making the updated model similar to the old one. By contrast, we suggest learning prospectively to prepare for future updates, and propose ForwArd Compatible Training (FACT) for FSCIL. Forward compatibility requires future new classes to be easily incorporated into the current model based on the current stage data, and we seek to realize it by reserving embedding space for future new classes. In detail, we assign virtual prototypes to squeeze the embedding of known classes and reserve for new ones. Besides, we forecast possible new classes and prepare for the updating process. The virtual prototypes allow the model to accept possible updates in the future, which act as proxies scattered among embedding space to build a stronger classifier during inference. FACT efficiently incorporates new classes with forward compatibility and meanwhile resists forgetting of old ones. Extensive experiments validate FACT's state-of-the-art performance. Code is available at: https://github.com/zhoudw-zdw/CVPR22-Fact

연구 동기 및 목표

• 소수의 예시로 새로운 클래스를 학습하는 소수의 클래스 증강 학습(FSCIL)에서 발생하는 치명적인 잊음 문제를 해결하기 위해.
• 뒤로 가는 호환성에만 의존하는 것이 아니라 전방 호환성을 통해 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 기본 학습 단계 동안 향후 클래스를 위한 임베딩 공간을 사전에 확보하여, 이전 클래스의 표현을 손상시키지 않으면서도 모델의 확장 가능성을 보장하기 위해.
• 가상의 인스턴스와 프로토타입을 사용하여 잠재적인 향후 클래스를 예측함으로써, 모델이 점진적인 업데이트에 더 잘 대비하도록 하기 위해.
• 가상 데이터 증강을 통해 임베딩 공간 확보와 강력한 일반화 능력을 결합함으로써 FSCIL에서 최고 성능을 달성하기 위해.

제안 방법

• 기본 세션 동안 임베딩 공간에 가상의 프로토타입을 사전 할당하여 향후 클래스를 위한 공간을 확보함으로써 모델의 확장 가능성을 확보한다.
• 대비 손실을 사용하여 가상의 프로토타입을 최적화함으로써 내부 클래스 분산을 최소화하고 클래스 간 간격을 최대화하며, 무게 조정 하이퍼파rameter γ를 사용한 대비 손실을 적용한다.
• 다양체 혼합을 통해 가상의 인스턴스를 생성하여 잠재적인 향후 클래스를 시뮬레이션함으로써, 모델이 향후 업데이트에 대비한 예측 능력을 갖추게 한다.
• 추론 단계에서 가상의 프로토타입을 정보성 기저 벡터로 사용하여 백본 재학습 없이도 강력하고 점진적인 분류기 구축이 가능하다.
• 가상의 프로토타입을 분류 헤드에 통합함으로써, 통합적이고 압축된 표현 방식을 사용해 기존 클래스와 새로운 클래스를 모두 분류할 수 있도록 한다.
• 교차 엔트로피 손실, 실제 및 가상의 프로토타입에 대한 대비 손실, 안정성 향상을 위한 정규화 항을 포함하는 복합 손실을 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 기본 학습 단계 동안 향후 클래스를 위한 임베딩 공간을 사전 확보함으로써 FSCIL에서 전방 호환성을 효과적으로 달성할 수 있는가?
• RQ2 가상의 프로토타입과 가상의 인스턴스의 사용이 소수의 점진적 학습에서 모델 성능과 일반화 능력을 어떻게 향상시키는가?
• RQ3 전통적인 뒤로 가는 호환성 접근 방식에 비해 전방 호환성이 치명적인 잊음 현상을 얼마나 줄이는가?
• RQ4 손실 간의 무게 조정 비율과 가상의 프로토타입 수와 같은 하이퍼파rameter에 대해 모델 성능가 얼마나 민감한가?
• RQ5 인스턴스 혼합 방법의 선택(예: 다양체 혼합, CutMix)이 모델의 미지 클래스로의 일반화 능력에 상당한 영향을 미치는가?

주요 결과

• Fact는 CUB200와 miniImageNet에서 기존의 방법들인 Decoupled-Cosine 및 CEC를 능가하는 최고 성능을 기록하였으며, 기존 클래스와 새로운 클래스의 정확도 모두에서 뛰어난 성능을 보였다.
• 새로운 클래스에 대해 뛰어난 성능을 보였으며, CUB200에서 조화 평균 정확도가 78.6%로 높게 나타나 강력한 전방 호환성을 입증하였다.
• 가상의 프로토타입 수(V)를 늘릴수록 성능 향상이 이루어지나, V=40 이후에는 성능 향상이 미미해져 대부분의 설정에서 V=40가 최적임을 시사한다.
• 다양한 인스턴스 혼합 방법에 대해 강건한 성능을 보였으며, 다양체 혼합(α=0.5)이 가장 우수한 결과를 내고 다양한 설정에서 높은 성능 유지를 보였다.
• 샷 수(K)가 높아질수록 성능 향상이 이루어지나, K=20를 초과하면 성능 향상의 효과가 점점 감소하여 대샷 설정에서는 수익 감소 현상이 나타났다.
• 최적의 하이퍼파ram터 설정은 γ=0.01과 V=NB(새로운 클래스의 수)이며, 이는 표현의 압축성과 일반화 능력 간의 균형을 잘 맞춘다.