[논문 리뷰] End-to-End Incremental Learning

Francisco M. Castro, Manuel J. Marín‐Jiménez외 3명|arXiv (Cornell University)|2018. 07. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 34

한 줄 요약

이 논문은 깊이 신경망을 위한 엔드 투 엔드 증분 학습 프레임워크를 제안하며, 교차 엔트로피 손실과 지식 정착 손실을 조합하여 치명적인 잊음 현상을 완화한다. 새로운 데이터와 이전 클래스의 샘플을 담은 소규모 예시 집합을 사용하여 학습함으로써, 기존에 학습된 클래스에서의 성능 저하를 최소화하면서 CIFAR-100과 ImageNet에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Although deep learning approaches have stood out in recent years due to their state-of-the-art results, they continue to suffer from catastrophic forgetting, a dramatic decrease in overall performance when training with new classes added incrementally. This is due to current neural network architectures requiring the entire dataset, consisting of all the samples from the old as well as the new classes, to update the model -a requirement that becomes easily unsustainable as the number of classes grows. We address this issue with our approach to learn deep neural networks incrementally, using new data and only a small exemplar set corresponding to samples from the old classes. This is based on a loss composed of a distillation measure to retain the knowledge acquired from the old classes, and a cross-entropy loss to learn the new classes. Our incremental training is achieved while keeping the entire framework end-to-end, i.e., learning the data representation and the classifier jointly, unlike recent methods with no such guarantees. We evaluate our method extensively on the CIFAR-100 and ImageNet (ILSVRC 2012) image classification datasets, and show state-of-the-art performance.

연구 동기 및 목표

• 새로운 데이터를 학습할 때 이전에 학습된 클래스를 잊는 치명적인 잊음 현상을 방지하기 위해 딥 뉴럴 네트워크에서 증분 클래스 학습 동안의 치명적인 잊음 현상을 다루는 것.
• 기존 방법이 이 둘을 분리하는 것과는 달리, 특징 표현과 분류기의 공동 업데이트를 통해 특징 표현과 분류기를 함께 최적화하는 엔드 투 엔드 학습을 가능하게 하는 것.
• 클래스 수가 증가함에 따라도 고정된 수의 파라미터와 낮은 메모리 사용량을 유지하면서 모델 성능을 유지를 하는 것.
• 모든 데이터를 다시 학습하지 않고도 시간이 지남에 따라 새로운 클래스를 학습해야 하는 실세계의 시각 인식 시스템에 적용 가능한 확장성 있고 실용적인 접근법을 개발하는 것.
• 완전한 재학습이나 외부 분류기를 사용하지 않고도 증분 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 기존의 표준 교차 엔트로피 손실을 대체하여, 새로운 클래스에 대한 교차 엔트로피 손실과 이전 클래스의 예측을 유지하기 위한 지식 정착 손실을 조합한 하이브리드 손실을 사용한다.
• 이전에 학습된 클래스의 대표 샘플을 포함하는 고정된 크기의 소규모 예시 집합을 사용하여 증분 학습 중에 이전 클래스의 지식을 유지한다.
• 소규모 예시 집합에서 과적합을 줄이고 일반화 성능을 향상시키기 위해 학습 중에 데이터 증강(예: 무작위 자르기, 뒤집기)을 적용한다.
• 증분 단계에서 이전 클래스와 새로운 클래스 간의 클래스 불균형 문제를 해결하기 위해 균형 잡힌 피니팅을 적용하여 오래된 클래스에서의 성능을 향상시킨다.
• 기존의 딥 뉴럴 네트워크 아키텍처를 기반으로 기존의 손실 함수를 제안된 증분 손실 함수로 교체함으로써, 어떤 딥 뉴럴 네트워크 아키텍처라도 증분 학습 프레임워크에 적합하게 만들 수 있다.
• 사전 학습이나 별도의 적응 단계 없이, 특징 표현과 분류기 가중치를 함께 최적화하는 완전한 엔드 투 엔드 방식으로 모델을 학습한다.

실험 결과

연구 질문

• RQ1 새로운 클래스에 대해 증분적으로 학습하면서도 이전에 학습된 클래스의 높은 정확도를 유지할 수 있는가? 치명적인 잊음 현상 없이 말이다?
• RQ2 지식 정착과 교차 엔트로피 손실의 조합이 증분 학습 단계에서의 성능 유지에 있어 이전 방법들과 비교하여 어떻게 다른가?
• RQ3 예시 집합의 크기와 샘플 선택 전략이 장기적인 증분 학습 성능에 어떤 영향을 미치는가?
• RQ4 특징과 분류기의 엔드 투 엔드 공동 최적화가 표현 학습과 분류를 분리한 방법보다 성능이 뛰어나게 되는가?
• RQ5 제안된 방법이 큰 증분 단계를 가진 대규모 벤치마크인 ImageNet에서도 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• CIFAR-100에서 5개 클래스씩 증분 학습할 경우, 제안된 방법은 59.2%의 상위 5위 정확도를 달성하여 기존 방법들을 능가하며 새로운 최신 기술 수준을 수립한다.
• CIFAR-100에서 20개 클래스씩 증분 학습할 경우, 평균 정확도 53.8%를 기록하여 iCaRL 및 기타 베이스라인보다 뚜렷이 뛰어나다.
• ImageNet에서 100개 클래스씩 증분 학습할 경우, 이전 최신 기술 수준의 방법보다 평균 정확도를 5% 이상 향상시킨다.
• 제거 실험을 통해 데이터 증강과 균형 잡힌 피니팅이 성능에 매우 중요하다는 것이 확인되었으며, 특히 큰 증분 단계에서 그 영향이 두드러진다.
• 모든 설정에서 최고의 성능을 내는 전체 모델(‘Our-CNN-Full’)은 데이터 증강과 균형 잡힌 피니팅을 모두 적용한 것으로, 전체 프레임워크의 효과성을 입증한다.
• 모델 크기와 파라미터 수가 증분 학습 전반에 걸쳐 고정되어 있어, 진정으로 증분 시스템의 요구 조건을 충족한다.