[논문 리뷰] Initial Classifier Weights Replay for Memoryless Class Incremental Learning

Eden Belouadah, Adrian Popescu외 1명|arXiv (Cornell University)|2020. 08. 31.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 사전 훈련된 모델의 초기 분류기 가중치를 재생하고, 표준화를 통해 정규화하며, 단계 수준 통계를 사용해 예측 점수를 校정함으로써 기존 데이터 접근 불가 및 모델 복잡도 고정 조건에서 치명적인 잊음 문제를 완화하는 메모리 없는 클래스 증분 학습 방법을 제안한다. 이 방법은 지식 증착 또는 메모리 재생 없이도 대규모 데이터셋에서 기존 방법들을 능가하며, 기존 최고 성능 수준의 정확도를 달성한다.

ABSTRACT

Incremental Learning (IL) is useful when artificial systems need to deal with streams of data and do not have access to all data at all times. The most challenging setting requires a constant complexity of the deep model and an incremental model update without access to a bounded memory of past data. Then, the representations of past classes are strongly affected by catastrophic forgetting. To mitigate its negative effect, an adapted fine tuning which includes knowledge distillation is usually deployed. We propose a different approach based on a vanilla fine tuning backbone. It leverages initial classifier weights which provide a strong representation of past classes because they are trained with all class data. However, the magnitude of classifiers learned in different states varies and normalization is needed for a fair handling of all classes. Normalization is performed by standardizing the initial classifier weights, which are assumed to be normally distributed. In addition, a calibration of prediction scores is done by using state level statistics to further improve classification fairness. We conduct a thorough evaluation with four public datasets in a memoryless incremental learning setting. Results show that our method outperforms existing techniques by a large margin for large-scale datasets.

연구 동기 및 목표

• 기존 데이터 접근 불가 및 모델 복잡도 고정 조건에서 기존 클래스에 대한 치명적인 잊음을 해결한다.
• 기존 데이터를 재사용하지 못하는 순수한 미세조정 방법이 기존 클래스를 완전히 잊는 문제를 해결한다.
• 메모리 재생 또는 추가 모델 파rameter가 필요 없이 초기 분류기 가중치를 안정적인 과거 클래스 표현으로 활용하는 방법을 개발한다.
• 분류기 가중치를 정규화하고 단계 수준 통계를 기반으로 예측 점수를 校정함으로써 분류의 공정성과 정확도를 향상시킨다.
• 엄격한 메모리 없는 제약 조건 하에서 대규모 벤치마크에서의 효과성을 입증한다.

제안 방법

• 모든 과거 클래스에 대해 사전 훈련된 모델에서 얻은 초기 분류기 가중치를 재생하여 이전 지식의 안정적 표현으로 간주한다.
• 증분 단계 간에 초기 분류기 가중치를 표준화하여 크기를 정규화하며, 이 가중치들이 정규분포를 따른다고 가정한다.
• 단계 수준 통계를 적용해 예측 점수를 校정함으로써 과거 클래스와 신규 클래스 예측 간의 공정성을 향상시킨다.
• 지식 증착 또는 아키텍처 수정 없이 순수한 미세조정을 기반으로 한다.
• 표준화 후 초기 분류기 가중치를 고정하고, 과거 클래스 예측 시 추론 과정에서 이를 사용한다.
• 표준화와 校정을 조합하여 메모리 없이도 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델의 초기 분류기 가중치가 메모리 없는 증분 학습 환경에서 과거 클래스에 대한 신뢰할 수 있는 기억으로 기능할 수 있는가?
• RQ2 초기 분류기 가중치의 표준화가 메모리 없는 환경에서 모델 안정성 향상과 치명적인 잊음 감소에 기여하는가?
• RQ3 단계 수준 통계를 기반으로 한 예측 점수 校정이 과거 클래스와 신규 클래스 예측 간의 공정성에 어떤 영향을 미치는가?
• RQ4 초기 가중치 재생과 정규화를 결합한 순수한 미세조정 방법이 지식 증착과 같은 복잡한 방법을 능가할 수 있는가?
• RQ5 제안된 방법은 증분 단계가 증가함에 따라 대규모 데이터셋에서 어떻게 스케일링되는가?

주요 결과

• 제안된 방법 inFT^mc_siw는 ILSVRC에서 20개의 증분 단계를 거쳐 11.8%의 top-1 정확도를 기록하며, 순수한 미세조정(0.0%)과 LUCIR(6.0%)를 크게 능가한다.
• inFT^mc_siw는 LUCIR에 비해 과거 클래스 간 혼동을 줄였으며, LUCIR는 과거 클래스를 신규 클래스로 잘못 분류하는 경향이 높아 e(p,n) = 63.4%를 기록한다.
• 초기 분류기 가중치의 표준화가 치명적인 잊음을 감소시키고 일반화 능력을 향상시키며, 첫 번째 증분 단계에서 38.4%의 과거 클래스 정확도를 기록함으로써 이를 입증한다.
• 메모리 없는 조건에서 증분 단계가 진행됨에 따라 일관된 성능 유지를 보이며, 최종 단계에서 과거 클래스에 대해 12.5%의 top-1 정확도를 기록한 반면, LUCIR는 6.0%에 머물렀다.
• 예측 점수의 校정이 공정성 향상에 기여하여 신규 클래스에 대한 과도한 확신을 줄이고 분류 결과의 균형을 향상시켰다.
• 지식 증착 없이도 메모리 없는 증분 학습 환경에서 네 개의 공개 데이터셋에서 기존 최고 성능를 달성하며, 초기 가중치 재생의 효과성을 입증했다.