[논문 리뷰] Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for Few-Shot Class-Incremental Learning

Zeyin Song, Yifan Zhao외 4명|arXiv (Cornell University)|2023. 04. 02.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 기반 세션 학습 중 의미 지향 가상 클래스를 도입하여 기본 클래스 간 분리도를 향상시키고 신규 클래스로의 일반화 능력을 강화하는 새로운 방법인 의미 지향 가상 대비(Semantic-Aware Virtual Contrastive, SAVC)를 제안한다. 사전에 정의된 변환을 통해 생성된 환상적 공간에서 감독 대비 학습을 적용함으로써, SAVC는 세 가지 주요 FSCIL 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, CE 및 SCL 기준선 대비 최대 11.57%의 정확도 향상을 기록한다.

ABSTRACT

Few-shot class-incremental learning (FSCIL) aims at learning to classify new classes continually from limited samples without forgetting the old classes. The mainstream framework tackling FSCIL is first to adopt the cross-entropy (CE) loss for training at the base session, then freeze the feature extractor to adapt to new classes. However, in this work, we find that the CE loss is not ideal for the base session training as it suffers poor class separation in terms of representations, which further degrades generalization to novel classes. One tempting method to mitigate this problem is to apply an additional naive supervised contrastive learning (SCL) in the base session. Unfortunately, we find that although SCL can create a slightly better representation separation among different base classes, it still struggles to separate base classes and new classes. Inspired by the observations made, we propose Semantic-Aware Virtual Contrastive model (SAVC), a novel method that facilitates separation between new classes and base classes by introducing virtual classes to SCL. These virtual classes, which are generated via pre-defined transformations, not only act as placeholders for unseen classes in the representation space, but also provide diverse semantic information. By learning to recognize and contrast in the fantasy space fostered by virtual classes, our SAVC significantly boosts base class separation and novel class generalization, achieving new state-of-the-art performance on the three widely-used FSCIL benchmark datasets. Code is available at: https://github.com/zysong0113/SAVC.

연구 동기 및 목표

• 대표 공간 내에서 기반 클래스 간 분리도가 부족하여 기존 소수의 예시로 클래스 증강 학습(FSCIL) 방법의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 의미적 변환을 통해 생성된 가상 클래스를 도입하면 FSCIL에서 클래스 간 구분 능력과 일반화 능력이 향상되는지 조사하기 위해.
• 미래의 클래스 데이터에 접근할 수 없더라도, 내부 클래스의 응집도와 상호 클래스 간 분리도를 향상시키는 방법을 개발하기 위해.
• 가상 대비 학습을 위한 환상적 공간을 활용하여 표준 FSCIL 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 기반 세션 학습 중 사전에 정의된 변환(예: 색상 왜곡, 회전, CutMix)을 통해 생성된 가상 클래스를 도입하여 표현 공간을 확장한다.
• 가상 클래스가 미리 보이지 않는 클래스를 대체하는 장소로 기능하는 의미 지향 환상 공간을 구성하여 임bedding 공간 내 의미 다양성을 풍부하게 한다.
• 전역 및 국소 대비 항목을 조합한 하이브리드 감독 대비 손실을 적용하며, 두 구성 요소를 균형 조절하기 위해 학습 가능한 계수 α와 β를 사용한다.
• 기본 분류기의 성능 향상을 위해 교차 엔트로피와 제안된 의미 지향 가상 대비 손실을 조합하여 백본을 훈련시킨다.
• 기반 학습 후 특징 추출기를 고정하고, 증강 세션 동안 헤드 또는 상단 레이어만 미세 조정하여 이전 지식을 유지한다.
• 표현 품질과 결정 경계 안정성을 분석하기 위해 t-SNE 및 혼동 행렬 시각화를 수행한다.

실험 결과

연구 질문

• RQ1 의미적 변환을 통해 생성된 가상 클래스가 FSCIL에서 기반 클래스 간 분리도와 신규 클래스 일반화 능력을 향상시키는가?
• RQ2 대비 학습에 환상적 공간을 포함시키면 표준 CE 및 SCL 대비 오래된 클래스와 새로운 클래스의 임베딩 간 겹침을 줄이는가?
• RQ3 다양한 종류의 변환은 가상 대비 프레임워크 성능에 어떤 영향을 미치는가?
• RQ4 증강 미세 조정 단계에서 학습 가능한 레이어와 하이퍼파라미터(α, β)의 최적 설정은 무엇인가?
• RQ5 제안된 방법이 표준 FSCIL 벤치마크에서 기존 최신 기술 기준선을 얼마나 뛰어넘는가?

주요 결과

• SAVC는 mini-ImageNet에서 증강 세션의 미세 조정 시 기준선 CE 방법 대비 최대 11.57%의 정확도 향상을 기록한다.
• CIFAR100에서의 t-SNE 시각화를 통해 기반 클래스 간 분리도가 향상되고 오래된 클래스와 새로운 클래스 간 겹침이 감소함을 확인하였다.
• 국소 대비 손실(MC)을 사용할 경우 10.26%의 성능 향상이 발생하여 국소 특징 패턴에 주목함으로써 일반화 능력 향상이 가능함을 시사한다.
• 최적의 하이퍼파라미터 설정은 α=0.2 및 β=0.8이며, 모델이 하이퍼파라미터 변화에 대해 뛰어난 내구성을 보였다.
• CIFAR100, CUB200 및 mini-ImageNet의 세 벤치마크 전반에서 SAVC는 새로운 최신 기술 성능을 달성하였으며, SCL 대비 최대 8.98%의 성능 향상을 기록하였다.
• 혼동 행렬 분석을 통해 SAVC는 기반 클래스와 신규 클래스 양쪽 모두에서 강력한 성능을 유지하며 오래된 클래스와 새로운 클래스 간 혼동을 방지함을 확인하였다.