[논문 리뷰] Diagnosing Batch Normalization in Class Incremental Learning

Minghao Zhou, Quanziang Wang외 3명|arXiv (Cornell University)|2022. 02. 16.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 반복 학습에서 표준 배치 정규화(BN)가 표현 학습을 해치고 분류기 편향을 유발해 치명적인 기억 상실을 악화시키는 핵심 문제인 'BN 딜레마'를 규명한다. 저자들은 순수한 신규 클래스 배치로 훈련하여 표현 학습을 향상시키고, 균형 잡힌 배치를 별도로 사용해 EMA 통계를 갱신함으로써 편향을 줄이는 BN 트릭스를 제안한다. 이는 추가 하이퍼파rameter 없이 ER, DER++, iCaRL 등 다양한 설정에서 뚜렷한 정확도 향상을 이룬다.

ABSTRACT

Extensive researches have applied deep neural networks (DNNs) in class incremental learning (Class-IL). As building blocks of DNNs, batch normalization (BN) standardizes intermediate feature maps and has been widely validated to improve training stability and convergence. However, we claim that the direct use of standard BN in Class-IL models is harmful to both the representation learning and the classifier training, thus exacerbating catastrophic forgetting. In this paper we investigate the influence of BN on Class-IL models by illustrating such BN dilemma. We further propose BN Tricks to address the issue by training a better feature extractor while eliminating classification bias. Without inviting extra hyperparameters, we apply BN Tricks to three baseline rehearsal-based methods, ER, DER++ and iCaRL. Through comprehensive experiments conducted on benchmark datasets of Seq-CIFAR-10, Seq-CIFAR-100 and Seq-Tiny-ImageNet, we show that BN Tricks can bring significant performance gains to all adopted baselines, revealing its potential generality along this line of research.

연구 동기 및 목표

• 표준 배치 정규화(BN)가 반복 학습(Class-IL)에서 치명적인 기억 상실에 기여하는 악영향을 규명하는 것.
• BN 딜레마를 규명하는 것: 추론 중에 BN 통계가 이격되면서 신규 클래스에 대한 표현 학습이 열악하고 분류기 편향이 발생하는 것.
• BN 트릭스—간단하고 하이퍼파rameter가 없는 방법—을 제안하여 재생 기반 Class-IL 모델의 표현 추출기 품질을 향상시키고 분류 편향을 제거하는 것.
• BN 트릭스의 효과성과 일반화 능력을 다양한 기준 데이터셋과 기준 모델(ER, DER++, iCaRL)을 통해 검증하는 것.

제안 방법

• 신규 클래스 샘플만 포함된 배치로 네트워크를 훈련하여 표현 학습을 향상시키고, 이전 클래스 버퍼 샘플에 의해 신규 클래스 표현이 지배당하는 것을 방지하는 것.
• 균형 잡힌 배치(이전 클래스와 신규 클래스 샘플 수가 동일한 배치)를 사용해 BN 레이어의 지수 이동 평균(EMA) 통계를 별도로 갱신하여 분류기 편향을 줄이는 것.
• 업데이트된 EMA 통계를 사용해 학습된 표현을 추론 단계에 정확히 전달함으로써 분포 이탈을 최소화하는 것.
• 네트워크 아키텍처를 변경하거나 새로운 하이퍼파rameter를 도입하지 않고, 기존의 재생 기반 방법(ER, DER++, iCaRL)의 훈련 및 통계 갱신 절차를 수정하여 BN 트릭스를 적용하는 것.
• BN 통계 갱신 후 버퍼 샘플로 추가 훈련하여 추론 조건을 시뮬레이션함으로써 분류의 강건성과 공정성을 확보하는 것.

실험 결과

연구 질문

• RQ1 표준 배치 정규화가 반복 학습에서 치명적인 기억 상실에 어떻게 기여하는가?
• RQ2 BN 레이어에서 EMA 통계를 사용할 경우 연속 학습 환경에서 왜 분류기 편향이 발생하는가?
• RQ3 신규 클래스에 대한 표현 학습을 향상시키고 BN 통계를 별도로 교정하면 BN 딜레마를 완화할 수 있는가?
• RQ4 BN 트릭스는 어떤 정도로 다양한 재생 기반 Class-IL 기준 모델의 성능을 향상시킬 수 있는가?

주요 결과

• Seq-CIFAR-10에서 ER 대비 BN 트릭스는 절대 정확도 향상 17%를 기록했고, 후방 전이(BWT)는 46% 감소하여 뚜렷한 성능 향상을 입증했다.
• DER++-BNT는 BWT를 크게 향상시키며 이전 작업의 정확도를 유지해 더 높은 안정성과 공정성을 보였다.
• iCaRL-BNT는 모든 작업, 특히 최종 작업에서 iCaRL를 능가했으며, BWT 점수가 낮아도 성능 향상이 뚜렷했다. 이는 BWT가 연속 학습 모델 평가 시 오해의 소지가 있음을 시사한다.
• BN 트릭스의 성능 향상은 다양한 버퍼 크기에서 일관되며, Seq-CIFAR-100-20 및 Seq-Tiny-ImageNet-20에서 장기적인 작업 시퀀스(20개 작업) 동안에도 효과를 유지했다.
• 시각화 결과(t-SNE)는 ER-BNT가 표준 ER 대비 더 명확한 클래스 경계를 생성하고, 이전 샘플이 신규 클래스로 잘못 분류되는 것을 줄임을 확인했다.