[논문 리뷰] Semantic Drift Compensation for Class-Incremental Learning

Lu Yu, Bartłomiej Twardowski외 6명|arXiv (Cornell University)|2020. 04. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 16

한 줄 요약

이 논문은 임베딩 네트워크에서 클래스 증분 학습을 위한 의미적 드리프트 보정(Semantic Drift Compensation, SDC)을 제안한다. SDC는 과거 태스크의 프로토타입에서 특징 분포의 이탈(의미적 드리프트)을 추정하고, 오직 현재 태스크 데이터만을 사용하여 보정한다. 이는 예시 데이터를 저장하지 않아도 된다. SDC는 망각을 크게 줄이며, 최신의 비예시 기반 방법들을 능가하고, CIFAR100 및 ImageNet-Subset에서 예시 기반 방법들과 경쟁하거나 그들을 초월한다.

ABSTRACT

Class-incremental learning of deep networks sequentially increases the number of classes to be classified. During training, the network has only access to data of one task at a time, where each task contains several classes. In this setting, networks suffer from catastrophic forgetting which refers to the drastic drop in performance on previous tasks. The vast majority of methods have studied this scenario for classification networks, where for each new task the classification layer of the network must be augmented with additional weights to make room for the newly added classes. Embedding networks have the advantage that new classes can be naturally included into the network without adding new weights. Therefore, we study incremental learning for embedding networks. In addition, we propose a new method to estimate the drift, called semantic drift, of features and compensate for it without the need of any exemplars. We approximate the drift of previous tasks based on the drift that is experienced by current task data. We perform experiments on fine-grained datasets, CIFAR100 and ImageNet-Subset. We demonstrate that embedding networks suffer significantly less from catastrophic forgetting. We outperform existing methods which do not require exemplars and obtain competitive results compared to methods which store exemplars. Furthermore, we show that our proposed SDC when combined with existing methods to prevent forgetting consistently improves results.

연구 동기 및 목표

• 기억 장치에 과거 데이터를 저장하지 않고도, 특히 개인정보 및 데이터 보안 제약 조건 하에서 치명적인 망각을 해결한다.
• 기존의 분류 네트워크에 비해 임베딩 네트워크가 연속 학습에서 망각을 덜 겪는지 조사한다.
• 새로운 태스크 학습 중 과거 태스크의 프로토타입에서 발생하는 의미적 드리프트를 추정하고 보정하는 방법을 개발한다.
• 기존 정규화 기법(예: EWC, MAS, LwF)과 호환되어 성능을 추가로 향상시킬 수 있는 기법을 설계한다.
• 과거 데이터의 기억이 필요 없이 오직 현재 태스크 데이터만으로도 프로토타입 드리프트를 추정하고 보정할 수 있음을 입증한다.

제안 방법

• 입력을 거리 공간으로 매핑하는 임베딩 네트워크를 사용하여, 클래스 프로토타입이 클래스 평균을 나타내도록 하며, 이로 인해 아키텍처 변경 없이 새로운 클래스를 자연스럽게 통합할 수 있다.
• 현재 태스크 데이터가 이전에 학습된 프로토타입과 비교할 때의 이동을 분석하여 과거 태스크 프로토타입의 의미적 드리프트를 추정한다.
• 현재 태스크 특징에서 유도된 드리프트 벡터를 사용하여 과거 태스크의 프로토타입을 보정함으로써 드리프트를 보완한다.
• 과거 데이터에 접근할 필요 없이, 추정된 드리프트를 바탕으로 프로토타입을 재중심화하거나 재가중함으로써 보정을 구현한다.
• 기존 정규화 기법(예: EWC, MAS, LwF)과 SDC를 통합하여 망각 방지 성능을 향상시킨다.
• 학습된 프로토타입을 사용한 최근접 클래스 평균(Nearest Class Mean, NCM) 분류를 수행하고, 실제 클래스 평균과 예측된 프로토타입 간의 거리로 드리프트를 평가한다.

Figure 1: T-SNE visualization of embedding space after finetuning. A, B, C indicate prototypes of task 1 after training task 1; A’,B’,C’ and D,E,F respectively for task 1 and 2 after training for task 2. The semantic drift (indicating forgetting) from task 1 is given by red vectors. Our method estim

실험 결과

연구 질문

• RQ1 임베딩 네트워크는 기존의 표준 분류 네트워크에 비해 클래스 증분 학습에서 치명적인 망각을 덜 겪는가?
• RQ2 오직 현재 태스크 데이터만을 사용하여 과거 태스크의 프로토타입에서 발생하는 의미적 드리프트를 어느 정도 추정할 수 있는가?
• RQ3 예시 데이터를 저장하지 않고도 제안된 SDC 방법이 프로토타입 드리프트를 얼마나 효과적으로 보정하는가?
• RQ4 기존 정규화 기법(예: EWC, MAS)과 SDC를 조합할 경우 일관된 성능 향상이 이루어지는가?
• RQ5 망각와 정확도 측면에서 SDC는 예시 기반 및 비예시 기반 최신 기술(SOTA) 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 임베딩 네트워크는 기존의 분류 네트워크에 비해 치명적인 망각을 훨씬 덜 겪으며, 이는 지속적 학습에서 거리 기반 학습의 장점을 보여준다.
• T-SNE 시각화와 정량적 거리 측정 결과에 따르면, 제안된 SDC 방법은 기준 미세조정 대비 평균 30%의 프로토타입 드리프트 감소를 보였다.
• CIFAR100에서 E-EWC+SDC는 EWC보다 평균 증분 정확도가 27.6% 높고, iCaRL-CNN(강력한 예시 기반 방법)보다 7.1% 높았다.
• ImageNet-Subset에서 E-EWC+SDC는 LwF보다 35.0% 높은 정확도를 기록했고, iCaRL-CNN보다 15.5% 높았으며, Rebalance보다 평균 망각률이 3.5% 낮았다.
• CIFAR100에서 가장 우수한 예시 기반 방법인 Rebalance 대비 SDC는 평균 망각률을 13.9% 감소시켜, 더 뛰어난 망각 완화 성능을 입증했다.
• EWC, MAS, LwF와의 조합에서도 일관되게 성능 향상이 이루어져, 다양한 정규화 전략과의 높은 호환성과 일반화 능력을 보였다.

Figure 2: Average incremental accuracy for finetuning trained and evaluated with softmax (FT) , finetuning trained with softmax but classified with NCM (FT*), and trained with metric learning loss and classified with NCM (E-FT). In addition, we report joint training (Joint). The results show that co