[논문 리뷰] Few-Shot Class-Incremental Learning from an Open-Set Perspective

Can Peng, Kun Zhao외 3명|arXiv (Cornell University)|2022. 07. 30.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 극도로 낮은 데이터 가용성 하에서 특징의 분리도와 일반화 능력을 향상시키기 위해 각도 페널티 손실을 사용하는 Few-Shot Class-Incremental Learning 방법 ALICE를 제안한다. 클래스 및 데이터 증강을 균형 잡힌 프로토타입 학습과 통합함으로써 ALICE는 CIFAR100, miniImageNet, CUB200에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 1-shot 설정에서 이전 방법들보다 최대 3.2% 향상된 조화 평균 정확도를 기록하였다.

ABSTRACT

The continual appearance of new objects in the visual world poses considerable challenges for current deep learning methods in real-world deployments. The challenge of new task learning is often exacerbated by the scarcity of data for the new categories due to rarity or cost. Here we explore the important task of Few-Shot Class-Incremental Learning (FSCIL) and its extreme data scarcity condition of one-shot. An ideal FSCIL model needs to perform well on all classes, regardless of their presentation order or paucity of data. It also needs to be robust to open-set real-world conditions and be easily adapted to the new tasks that always arise in the field. In this paper, we first reevaluate the current task setting and propose a more comprehensive and practical setting for the FSCIL task. Then, inspired by the similarity of the goals for FSCIL and modern face recognition systems, we propose our method -- Augmented Angular Loss Incremental Classification or ALICE. In ALICE, instead of the commonly used cross-entropy loss, we propose to use the angular penalty loss to obtain well-clustered features. As the obtained features not only need to be compactly clustered but also diverse enough to maintain generalization for future incremental classes, we further discuss how class augmentation, data augmentation, and data balancing affect classification performance. Experiments on benchmark datasets, including CIFAR100, miniImageNet, and CUB200, demonstrate the improved performance of ALICE over the state-of-the-art FSCIL methods.

연구 동기 및 목표

• 기존 FSCIL 벤치마크가 단지 클래스별 평균 정확도에 의존하여 데이터 불균형으로 인한 편향을 감지하지 못하는 한계를 해결한다.
• 기존 설정과는 달리 극도로 낮은 데이터 가용성, 예를 들어 1-shot 학습과 같은 현실 세계의 오픈세트 조건을 더 잘 반영하도록 FSCIL 작업을 재정의한다.
• 기본 특징 추출기가 기존 클래스뿐 아니라 향후에 나타나지 않은 클래스도 잘 표현할 수 있도록 모델의 일반화 능력을 향상시킨다.
• 클래스 증강, 데이터 증강, 균형 잡힌 데이터 임bedding 등의 데이터 처리 기법이 FSCIL 성능에 미치는 영향을 조사한다.
• 극도로 낮은 샘플 수에서의 점진적 학습 환경에서도 치명적인 기억 상실(catastrophic forgetting)에 강건하고 효과적인 방법을 개발한다.

제안 방법

• 표준 크로스 엔트로피 손실 대신 얼굴 인식에서 영감을 얻은 각도 페널티 손실을 도입하여 특징의 밀도와 클래스 간 분리도를 향상시킨다.
• 백본 뒤에 투영 레이어를 도입하여 기본 클래스와 점진적 클래스 간 특징의 다양성과 이동 가능성(transferability)을 향상시킨다.
• 클래스별 데이터 증강과 표준 데이터 증강(예: 무작위 자르기, 색상 왜곡)을 적용하여 특징의 강건성을 높인다.
• 균형 잡힌 최근접 평균 클래스(NMC)를 사용하여 프로토타입을 생성함으로써 기본 클래스와 점진적 클래스가 동일한 기여를 하여 예측 편향을 줄인다.
• 최적의 성능를 확보하기 위해 CIFAR100에서 그리드 서치를 통해 초모수를 최적화한다(코시 마진 m = 0.4, 스케일 요소 s = 30).
• 백본을 대부분의 설정에서 고정하면서, 엔드 투 엔드로 각도 손실과 데이터 증강을 함께 훈련하여 이전 지식을 유지한다.

실험 결과

연구 질문

• RQ1 1-shot 및 오픈세트 조건을 포함한 제안된 FSCIL 벤치마크 설정이 기존 설정과 비교해 현실 세계의 배포 도전 과제를 얼마나 더 잘 반영하는가?
• RQ2 각도 페널티 손실을 사용할 경우, 소수의 샘플에서 점진적 학습 시 특징 군집화와 분리도가 얼마나 향상되는가?
• RQ3 클래스 증강, 데이터 증강, 균형 잡힌 데이터 임베딩이 함께 작용할 때 FSCIL에서 모델의 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ4 각도 손실과 균형 잡힌 프로토타입 학습을 통해 훈련된 모델이 1-shot 학습과 같은 극도로 낮은 데이터 가용성 상황에서 최신 기술 수준(SOTA) 방법을 초월할 수 있는가?
• RQ5 다양한 점진적 학습 세션에서 최적의 성능를 내는 초모수 설정(마진 및 스케일)은 무엇인가?

주요 결과

• ALICE는 8단계 5-way 5-shot CIFAR100 벤치마크에서 최신 기술 수준(SOTA) 방법보다 조화 평균 정확도가 3.2% 절대적으로 향상되었으며, 특히 후속 점진적 학습 단계에서 가장 큰 향상을 보였다.
• 데이터 증강과 균형 잡힌 데이터 임베딩과 함께 각도 페널티 손실을 사용할 경우, 크로스 엔트로피 손실 대비 조화 평균 정확도가 2.8% 향상되었다.
• 클래스 증강, 데이터 증강, 투영 레이어의 조합은 기존 크로스 엔트로피 훈련 대비 조화 평균 정확도를 5.2% 향상시켰다.
• 균형 잡힌 프로토타입 생성은 예측 편향을 크게 감소시켜, 각도 페널티 손실을 사용할 경우 조화 평균 정확도가 9.0 포인트 향상되었다.
• t-SNE 시각화 결과는 각도 페널티 손실이 크로스 엔트로피 손실보다 더 단단하고 잘 분리된 특징 군집을 생성하는 것으로 확인되었으며, 특히 증강 기법과 조합했을 때 두드러진 효과를 보였다.
• 초모수 분석 결과 최적의 성능는 코시 마진 m = 0.4 및 스케일 요소 s = 30에서 달성되었으며, s = 20 또는 s = 30 설정이 모든 세션에서 강력한 성능를 보였다.