[논문 리뷰] Autoencoder-Based Incremental Class Learning without Retraining on Old Data

Euntae Choi, Kyungmi Lee외 1명|arXiv (Cornell University)|2019. 07. 18.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 과거 데이터를 재학습하거나 예시를 저장하지 않고도 치명적인 잊음(catastrophic forgetting)을 방지하는 자동에코더 기반의 점진적 클래스 학습 방법을 제안한다. 자동에코더를 통해 클래스 프로토타입을 학습하고, 정규화된 거리 기반 분류(SI/MAS)를 사용함으로써, CIFAR-100과 CUB-200-2011에서 최신 기술 수준의 성능을 달성하며, 메모리 오버헤드를 최소화한다 — 클래스당 하나의 평균 프로토타입만 저장함으로써.

ABSTRACT

Incremental class learning, a scenario in continual learning context where classes and their training data are sequentially and disjointedly observed, challenges a problem widely known as catastrophic forgetting. In this work, we propose a novel incremental class learning method that can significantly reduce memory overhead compared to previous approaches. Apart from conventional classification scheme using softmax, our model bases on an autoencoder to extract prototypes for given inputs so that no change in its output unit is required. It stores only the mean of prototypes per class to perform metric-based classification, unlike rehearsal approaches which rely on large memory or generative model. To mitigate catastrophic forgetting, regularization methods are applied on our model when a new task is encountered. We evaluate our method by experimenting on CIFAR-100 and CUB-200-2011 and show that its performance is comparable to the state-of-the-art method with much lower additional memory cost.

연구 동기 및 목표

• 과거 데이터 재학습 없이 점진적 클래스 학습(ICL)에서 치명적인 잊음을 해결한다.
• 기존 데이터를 저장하거나 생성하는 복원(rehearsal) 기반 또는 생성적 재생(generative replay) 방법에 비해 메모리 오버헤드를 줄인다.
• 데이터셋 크기에 관계없이 클래스당 하나의 프로토타입(평균 벡터)만 저장함으로써 확장 가능한 지속적 학습을 가능하게 한다.
• 정규화 기법을 활용해 새로운 클래스에 대한 일반화 능력을 향상시키면서도 이전에 학습한 클래스의 성능 유지를 도모한다.
• 자기에코더로 학습한 프로토타입을 기반으로 코사인 유사도를 사용한 거리 기반 분류가, 더 낮은 메모리 비용으로도 기존 방법보다 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 입력 데이터의 압축된, 분리된 표현을 학습하기 위해 딥 자동에코더를 사용하며, 데이터 분포의 의미 있는 부분다양체를 학습하는 데 집중한다.
• 각 클래스의 인코딩된 특징의 평균을 계산하여 클래스 프로토타입을 추출하고, 이를 유일한 메모리 프로파일로 저장한다.
• 기존의 소프트맥스 분류 대신, 클래스 평균 프로토타입과의 코사인 유사도를 사용해 거리 기반 분류를 수행한다.
• 치명적인 잊음을 방지하기 위해 점진적 학습 중에 신픽스 인텔리전스(SI) 및 메모리 인식 신경망(MAS) 정규화 손실을 적용한다.
• 점진적 학습 중에 모호하거나 노이즈가 많은 예시를 제거함으로써 새로운 클래스의 일반화 능력을 향상시키기 위해 외곽치 탐지(LOF) 기법을 도입한다.
• 자기에코더를 고정된 클래스 집합에서 처음에 종합적으로 훈련한 후, 새로운 클래스가 도착할 때마다 정규화 기법을 적용해 미세조정한다.

실험 결과

연구 질문

• RQ1 자기에코더로 학습한 특징를 기반으로 한 프로토타입 기반 거리 기반 분류 시스템은 과거 데이터를 저장하지 않고도 점진적 클래스 학습에서 높은 성능을 달성할 수 있는가?
• RQ2 이 방법의 메모리 효율성은 복원 기반 또는 생성적 재생 접근법에 비해 저장 용량과 확장성 측면에서 어떻게 비교되는가?
• RQ3 경험 재생이 없는 상황에서 SI 및 MAS와 같은 정규화 기법이 치명적인 잊음을 얼마나 효과적으로 완화할 수 있는가?
• RQ4 외곽치 탐지(LOF)의 포함 여부가 새로운 클래스를 학습하는 데 모델의 능력을 향상시키며, 이전 클래스의 성능을 떨어뜨리지 않는가?
• RQ5 CIFAR-100 및 CUB-200-2011와 같은 표준 벤치마크에서, 이 방법의 성능은 iCaRL 및 FearNet과 같은 최신 기술 수준의 접근법과 어떻게 비교되는가?

주요 결과

• CIFAR-100에서 MAS+LOF를 적용한 본 방법은 $\Psi_{new}$가 0.780을 기록하여, iCaRL($\theta_{new} = 0.547$)과 FearNet($\theta_{new} = 0.598$)에 비해 신규 클래스 정확도에서 뚜렷한 승리를 거두었다.
• CUB-200-2011에서 MAS+LOF를 적용한 모델은 $\theta_{new} = 0.780$을 달성하여 새로운 클래스에 대한 강력한 일반화 능력을 보였으며, 동시에 $\theta_{all} = 0.727$의 성능도 유지했다.
• 모델의 메모리 비용은 클래스 수에 비례하여 선형적으로 증가하며, 저장된 예시에 따라 증가하는 FearNet과 달리, 클래스 수 증가에 따라 더 많은 메모리가 필요로 하지 않는다.
• 특히 긴 꼬리형 또는 대규모 ICL 환경에서, 저장된 예시나 생성된 데이터를 저장하는 방법에 비해 훨씬 낮은 메모리 오버헤드로 iCaRL 및 FearNet과 유사하거나 더 뛰어난 성능을 달성한다.
• LOF의 사용은 노이즈가 많거나 모호한 예시의 영향을 줄여 $\theta_{new}$를 향상시키며, 특히 MAS와 조합했을 때 효과가 뚜렷하다.
• 관측한 클래스 수에 관계없이 훈련 시간과 계산 비용이 일정하게 유지되며, 각 점진적 단계에서 새로운 클래스 데이터만 사용하기 때문이다.