[논문 리뷰] Margin-Based Few-Shot Class-Incremental Learning with Class-Level Overfitting Mitigation

Yixiong Zou, Shanghang Zhang외 2명|arXiv (Cornell University)|2022. 10. 10.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 CLOM을 제안하며, 양성 마진(positive-margin, PM)과 음성 마진(negative-margin, NM) 간의 상호 보완적 지도 학습을 통해 클래스 수준 과적합을 완화하는 새로운 마진 기반 소수의 샘플로 학습하는 클래스 증강 학습 방법이다. 교차 브랜치 가이던스와 관계 매핑 모듈을 통해 패턴 학습을 제약함으로써, CLOM은 CIFAR100, CUB200, 그리고 miniImageNet에서 최신 기술 수준(SOTA) 성능을 달성하며, 새로운 클래스에 대한 일반화 능력을 향상시키면서도 기존 클래스의 정확도를 유지한다.

ABSTRACT

Few-shot class-incremental learning (FSCIL) is designed to incrementally recognize novel classes with only few training samples after the (pre-)training on base classes with sufficient samples, which focuses on both base-class performance and novel-class generalization. A well known modification to the base-class training is to apply a margin to the base-class classification. However, a dilemma exists that we can hardly achieve both good base-class performance and novel-class generalization simultaneously by applying the margin during the base-class training, which is still under explored. In this paper, we study the cause of such dilemma for FSCIL. We first interpret this dilemma as a class-level overfitting (CO) problem from the aspect of pattern learning, and then find its cause lies in the easily-satisfied constraint of learning margin-based patterns. Based on the analysis, we propose a novel margin-based FSCIL method to mitigate the CO problem by providing the pattern learning process with extra constraint from the margin-based patterns themselves. Extensive experiments on CIFAR100, Caltech-USCD Birds-200-2011 (CUB200), and miniImageNet demonstrate that the proposed method effectively mitigates the CO problem and achieves state-of-the-art performance.

연구 동기 및 목표

• 마진 기반 소수의 샘플로 학습하는 클래스 증강 학습(FSCIL)에서 양성 마진은 기존 클래스 정확도를 향상시키지만 새로운 클래스 일반화 능력을 떨어뜨리는 오랜 지속된 딜레마를 해결하기 위함.
• 이 딜레마를 공유 패턴 또는 클래스 특화 패턴을 학습할 때 쉽게 만족되는 제약 조건이 초래하는 클래스 수준 과적합(CO) 문제로 해석하기 위함.
• 마진 기반 패턴 자체에서 추가 제약 조건을 제공함으로써 CO를 완화하고, 기존 클래스 및 새로운 클래스 성능을 모두 향상시키는 방법 설계하기 위함.
• PM 및 NM 특징 간의 상호 보완적 지도 학습이 과적합을 감소시키고 이식 가능성을 향상시킴을 검증하기 위함.

제안 방법

• 두 개의 브랜치를 도입한다: 기존 클래스 특화 패턴을 학습하기 위한 양성 마진(positive-margin, PM) 브랜치와 공유 패턴을 학습하기 위한 음성 마진(negative-margin, NM) 브랜치.
• NM 패턴에서 지식 distillation을 통해 PM 패턴을 구성함으로써, PM 특징가 더 견고하고 일반화 가능한 표현에 의해 안내되도록 보장한다.
• 관계 매핑 모듈을 제안하여 클래스 수준 유사성을 패턴 학습 과정에 통합함으로써, 클래스 관계에 기반한 적응형 마진 할당이 가능하도록 한다.
• 간단한 패턴과 학습된 특징 간 유사도를 감소시키기 위해 CKA 기반 지도 학습을 통한 대비 학습 목표를 도입함으로써, 쉽게 만족되는 제약 조건 문제를 완화한다.
• 각 브랜치에 대해 별도의 마진(양성/음성)을 적용하면서도, 교차 브랜치 지식 distillation을 통해 특징 일관성을 유지한다.
• 최종 모델은 기존 클래스와 증강 클래스에 대한 공동 최적화를 통해 엔드 투 엔드로 훈련되며, 교차 엔트로피와 대비 항목을 조합한 통합 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 왜 FSCIL에서 기존 클래스 학습에 양성 마진을 적용할 경우 새로운 클래스에서 일반화 능력이 악화되는가?
• RQ2 FSCIL의 패턴 학습 관점에서 클래스 수준 과적합(CO) 문제를 공식적으로 어떻게 해석할 수 있는가?
• RQ3 공유 패턴 또는 클래스 특화 패턴을 학습할 때 쉽게 만족되는 제약 조건은 무엇을 초래하며, 이는 마진 기반 FSCIL에서 CO를 유도하는가?
• RQ4 양성 마진 및 음성 마진 특징 학습 간의 상호 보완적 지도 학습이 CO를 효과적으로 완화하고 기존 및 새로운 클래스 성능을 향상시킬 수 있는가?
• RQ5 관계 매핑 모듈이 클래스 유사성에 기반한 마진 할당을 적응적으로 조정함으로써 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• 제안된 CLOM 방법은 CIFAR100, CUB200, 그리고 miniImageNet에서 최신 기술 수준 성능을 달성하며, 모든 클래스 정확도 측면에서 기존 FSCIL 방법을 능가한다.
• CIFAR100에서 CLOM은 증강 설정에서 78.4%의 정확도를 기록했으며, 양성 마진 및 음성 마진 조건 하에서 모두 기준 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• 기존 방법에서 일반적으로 기존 성능을 떨어뜨리는 음성 마진을 사용함에도 불구하고, CLOM은 높은 기존 클래스 정확도(예: CIFAR100에서 92.1%)를 유지한다.
• 제안된 방법 하에서 단순 패턴과 NM/PM 특징 간의 CKA 유사도는 각각 0.1427에서 0.1100으로 감소하고 0.1427에서 0.1476으로 증가함으로써, 과적합 감소 및 패턴 복잡도 향상이 검증되었다.
• 실험 결과, $m_{upper} < m_{ave}$ 이고 $m^{P}_{upper} > m^{P}_{ave}$ 인 조건에서 관계 매핑 모듈이 성능 향상을 보였으며, 이는 적응형 마진 제어 하에서 공유 및 클래스 특화 패턴의 더 나은 학습이 이루어졌음을 시사한다.
• PM 및 NM 브랜치 간의 상호 보완적 지도 학습이 기존 클래스 및 새로운 클래스 양쪽에서 성능 저하를 효과적으로 완화함으로써, CO 딜레마의 완화가 확인되었다.