[논문 리뷰] Generative Feature Replay For Class-Incremental Learning

Xialei Liu, Chenshen Wu외 6명|arXiv (Cornell University)|2020. 04. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 10

한 줄 요약

이 논문은 재난적 기억상실을 방지하기 위해 이미지 대신 고수준 특징을 생성하는 Generative Feature Replay(GFR)를 제안한다. 이는 분류기에서의 생성 재생과 특징 추출기에서의 특징 정규화를 결합한 클래스 증분 학습 방법이다. CIFAR-100과 ImageNet에서 최신 기술 수준의 정확도를 달성하며, 저장 용량은 극히 적게(생성기용 4.5MB) 사용한다. 예시 기반 방법과 비교해도 뛰어난 성능을 보인다.

ABSTRACT

Humans are capable of learning new tasks without forgetting previous ones, while neural networks fail due to catastrophic forgetting between new and previously-learned tasks. We consider a class-incremental setting which means that the task-ID is unknown at inference time. The imbalance between old and new classes typically results in a bias of the network towards the newest ones. This imbalance problem can either be addressed by storing exemplars from previous tasks, or by using image replay methods. However, the latter can only be applied to toy datasets since image generation for complex datasets is a hard problem. We propose a solution to the imbalance problem based on generative feature replay which does not require any exemplars. To do this, we split the network into two parts: a feature extractor and a classifier. To prevent forgetting, we combine generative feature replay in the classifier with feature distillation in the feature extractor. Through feature generation, our method reduces the complexity of generative replay and prevents the imbalance problem. Our approach is computationally efficient and scalable to large datasets. Experiments confirm that our approach achieves state-of-the-art results on CIFAR-100 and ImageNet, while requiring only a fraction of the storage needed for exemplar-based continual learning. Code available at \url{https://github.com/xialeiliu/GFR-IL}.

연구 동기 및 목표

• 추론 시 태스크 식별 정보가 없는 클래스 증분 학습에서 재난적 기억상실 문제를 해결하기 위해.
• 이전 태스크의 제한된 데이터로 인해 발생하는 불균형 문제를 해결하여 분류기가 최신 클래스에 치우치는 것을 방지하기 위해.
• 개인정보나 저장 용량 제약으로 인해 이전 태스크의 예시를 저장할 필요가 없도록 하기 위해.
• ImageNet과 같은 대규모 데이터셋에 대해 복잡한 이미지 생성 대신 간단한 특징 생성으로 대체함으로써 확장성 향상을 위해.
• 예시 기반 접근 방식에 비해 메모리 오버헤드를 크게 줄이며 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 네트워크는 특징 추출기와 분류기로 분할되며, 특징 추출기는 이전 태스크의 지식을 유지하기 위해 특징 정규화를 통해 훈련된다.
• 원시 이미지 대신 고수준 특징(예: 최종 완전 연결 층에서의 특징)을 대상으로 생성 재생을 적용함으로써 생성 복잡도를 감소시킨다.
• 생성기는 이전 태스크의 특징을 합성하여, 현재 태스크 훈련 시에 클래스 분포를 균형 잡는 데 사용된다.
• 특징 추출기에서 특징 정규화를 적용하여 태스크 간 표현 안정성을 유지한다.
• 특징 생성에는 GAN 또는 가우시안 노이즈를 사용하며, 타당성 연구를 통해 최적의 특징 깊이를 규명하였다.
• 훈련 중에 생성된 특징과 현재 태스크 데이터를 동적으로 조합함으로써 저장된 예시에 의존하지 않는다.

Figure 1: Comparison of generative image replay and the proposed generative feature replay. Instead of replaying images $x$ the proposed method uses a generator $G$ to replay features $u$ . To prevent forgetting in the feature extractor $F$ we apply feature distillation. Feature replay allows us to

실험 결과

연구 질문

• RQ1 예시를 저장하지 않고도 생성 특징 재생이 클래스 증분 학습에서 재난적 기억상실을 효과적으로 완화할 수 있는가?
• RQ2 이미지 대신 고수준 특징을 생성하면 ImageNet과 같은 대규모 데이터셋에서 성능 향상과 확장성 향상에 기여하는가?
• RQ3 특징 깊이 선택(예: 블록 수준 대비 최종 레이어)이 생성 재생 성능에 어떤 영향을 미치는가?
• RQ4 특징 정규화와 생성 재생을 조합한 방법이 예시 기반 및 이미지 생성 기반 방법보다 정확도와 메모리 효율성 측면에서 뛰어나게 성능을 높일 수 있는가?
• RQ5 특히 긴 꼬리형 클래스 분포 시나리오에서 태스크 수가 증가함에 따라 이 방법의 성능은 어떻게 되는가?

주요 결과

• 25개 태스크로 구성된 CIFAR-100에서 GFR는 iCaRL-NME를 크게 앞서며, 예시를 전혀 사용하지 않음에도 Rebalance와 유사한 성능을 달성한다.
• ImageNet-1000에서 GFR는 생성기용 4.5MB의 메모리만으로 최신 기술 수준의 정확도를 달성하였으며, iCaRL에서 각 클래스당 20개의 예시를 요구하는 3.8GB에 비해 극적으로 낮은 메모리 사용량을 보였다.
• GAN 기반 특징 생성을 사용한 방법은 가우시안 재생을 능가하며, 특히 태스크 수가 증가함에 따라 Rebalance를 크게 앞서는 성능을 보였다.
• 타당성 연구 결과, 블록 4(고수준 특징)에서의 특징 재생은 평균 57.6%의 정확도를 기록한 반면, 저수준 특징 재생(블록 1)은 80.7%로 떨어지며 고수준 특징이 생성하기 쉽고 더 효과적임을 시사한다.
• 메모리 사용은 극적으로 감소하였다: GFR는 4.5MB만을 사용하며, iCaRL는 375MB, MeRGAN은 8.5MB를 사용하지만 GFR는 MeRGAN보다 ImageNet에서 더 뛰어난 성능을 달성하였다.
• 특징 추출기에서의 특징 정규화가 표현 안정성을 유지하는 데 기여하며, CCA 분석 결과 기억상실이 가장 심각한 부분은 깊은 층임을 확인하여 고수준 특징에 집중하는 것이 타당함을 뒷받침한다.

Figure 2: Canonical Correlation Analysis (CCA) similarity of different continual learning methods performed on equally distributed 4-task scenario on CIFAR-100. The vertical axis shows the evolution over time of the correlation for given task activations. The horizontal axis shows correlation at dif