[논문 리뷰] Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay

Huan Liu, Li Gu외 5명|arXiv (Cornell University)|2022. 07. 22.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 실재 데이터를 저장하지 않고도 효과적인 지식 정착을 가능하게 하는 데이터 프리 레플리(재생) 방법을 소수의 샘플로 이루어진 클래스 증강 학습(FSCIL)에 제안한다. 이 방법은 엔트로피 정규화를 통해 결정 경계 근처의 불확실한 합성 데이터를 생성함으로써, 치명적인 잊음 현상을 크게 줄이고 새로운 클래스에 신속하게 적응시킨다. 제안된 방법은 기존 최고 수준의 기법들보다 뛰어난 성능을 보이며, 특히 실재 데이터 접근 없이도 뛰어난 성능을 달성한다.

ABSTRACT

Few-shot class-incremental learning (FSCIL) has been proposed aiming to enable a deep learning system to incrementally learn new classes with limited data. Recently, a pioneer claims that the commonly used replay-based method in class-incremental learning (CIL) is ineffective and thus not preferred for FSCIL. This has, if truth, a significant influence on the fields of FSCIL. In this paper, we show through empirical results that adopting the data replay is surprisingly favorable. However, storing and replaying old data can lead to a privacy concern. To address this issue, we alternatively propose using data-free replay that can synthesize data by a generator without accessing real data. In observing the the effectiveness of uncertain data for knowledge distillation, we impose entropy regularization in the generator training to encourage more uncertain examples. Moreover, we propose to relabel the generated data with one-hot-like labels. This modification allows the network to learn by solely minimizing the cross-entropy loss, which mitigates the problem of balancing different objectives in the conventional knowledge distillation approach. Finally, we show extensive experimental results and analysis on CIFAR-100, miniImageNet and CUB-200 to demonstrate the effectiveness of our proposed one.

연구 동기 및 목표

• 기존의 데이터 재생이 소수의 샘플로 이루어진 클래스 증강 학습(FSCIL)에서 효과적이지 않다는 일반적인 견해에 도전한다. 특히 소수의 샘플 조건에서의 문제점을 다룬다.
• 지속적인 학습에서 실재 데이터를 저장하고 재생하는 것과 관련된 개인정보 보호 문제를 해결한다.
• 모델의 결정 경계 근처에 가까운 높은 불확실성의 합성 데이터를 생성함으로써 FSCIL에서 지식 정착을 향상시킨다.
• 다중 목표 정착을 대체하는 재라벨링 전략을 통해 순수한 교차 엔트로피 최소화를 가능하게 하여 학습을 단순화한다.
• 데이터 프리 레플리와 엔트로피 정규화가 FSCIL 벤치마크에서 최고 성능을 달성함을 입증한다.

제안 방법

• 실재 데이터에 접근하지 않고도 랜덤 노이즈에서 현실적인 이미지를 생성하는 생성 네트워크를 훈련시키며, 데이터 프리 레플리 프레임워크를 사용한다.
• 생성 네트워크 훈련 중에 엔트로피 정규화를 적용하여 예측 불확실성을 최대화함으로써, 결정 경계 근처에 위치한 샘플 생성을 유도한다.
• 생성된 데이터는 일종의 원-핫 타겟으로 재라벨링되어 교차 엔트로피 손실을 직접 최적화할 수 있도록 하며, 지식 정착과 분류 목표 간의 균형 조정이 필요 없도록 한다.
• 백본 네트워크는 실재 소수의 샘플 데이터와 생성된 합성 데이터를 모두 사용하여 미세조정되어 적응 능력을 향상시키고 잊음 현상을 줄인다.
• CIFAR-100, miniImageNet, CUB-200에서 라벨 분포 분석과 아블레이션 연구를 조합하여 방법을 평가한다.
• 제안된 방법과 DeepInversion를 비교하는 아블레이션 연구를 통해, 데이터 생성 및 재생에서 뛰어난 성능과 효율성을 입증한다.

실험 결과

연구 질문

• RQ1 데이터 불균형과 과적합 우려가 존재하는 바쁜 조건에서 소수의 샘플로 이루어진 클래스 증강 학습(FSCIL)에서 데이터 재생이 실제로 효과적으로 사용될 수 있는가?
• RQ2 생성 네트워크에서 엔트로피 정규화가 FSCIL에서 지식 정착을 위한 합성 데이터의 품질과 유용성을 향상시키는가?
• RQ3 일종의 원-핫 타겟으로 생성된 데이터를 재라벨링하는 것이 기존의 지식 정착 방법과 비교해 학습을 단순화하고 성능을 향상시키는가?
• RQ4 기존의 데이터 프리 생성 기법인 DeepInversion와 비교했을 때, 제안된 데이터 프리 레플리 방법은 FSCIL 환경에서 어떻게 성능을 냈는가?
• RQ5 FSCIL에서 잊음과 적응 간의 균형을 맞추기 위해 배치당 생성 샘플의 최적 수는 얼마인가?

주요 결과

• CIFAR-100에서 제안된 방법은 평균 정확도 60.77%를 달성하여 이전 최고 수준의 기법보다 1.66% 높은 성능을 보였다.
• 엔트로피 정규화를 적용한 경우, 기존 기반 생성자 대비 소수의 샘플로 이루어진 클래스에 속하는 생성 샘플 비율이 20-30% 증가하였다.
• 메트릭에서 가장 높은 최종 정확도를 기록했으며, 잊음 완화 효과도 가장 뛰어나, DeepInversion를 단독으로 사용했을 때보다 2.85% 향상된 성능을 보였다.
• 배치당 재생 샘플 수가 실재 학습 샘플 수와 일치할 때 성능이 최고로 높아지며, 이는 최적의 균형을 이룬다는 것을 시사한다 (예: CIFAR-100에서 1개 클래스당 25개).
• DeepInversion를 제안된 방법으로 대체하면 최종 정확도가 1.66% 향상되며, 데이터 생성 및 정착 과정에서 뛰어난 효율성과 효과성을 입증한다.
• 아블레이션 연구는 백본의 미세조정과 데이터 프리 레플리를 병행할 경우 성능 향상이 뚜렷하게 이루어지며, 공동 최적화의 이점이 있음을 확인한다.