[논문 리뷰] SupportNet: solving catastrophic forgetting in class incremental learning with support data

Li Yu, Zhongxiao Li외 6명|arXiv (Cornell University)|2018. 06. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 26

한 줄 요약

SupportNet는 지속적인 학습 중에 이전 지식을 재학습하기 위해 SVM의 서포트 벡터를 활용하여 압축되고 정보가 풍부한 서포트 데이터를 사용함으로써 클래스 인크리멘탈 러닝에서 치명적인 잊음 문제를 해결한다. 이 방법은 이러한 서포트 데이터를 신규 데이터와 결합하고 두 가지 통합 정규화 기법을 적용하여, 전체 데이터로 다시 훈련한 것과 유사한 성능을 달성하며, 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

A plain well-trained deep learning model often does not have the ability to learn new knowledge without forgetting the previously learned knowledge, which is known as catastrophic forgetting. Here we propose a novel method, SupportNet, to efficiently and effectively solve the catastrophic forgetting problem in the class incremental learning scenario. SupportNet combines the strength of deep learning and support vector machine (SVM), where SVM is used to identify the support data from the old data, which are fed to the deep learning model together with the new data for further training so that the model can review the essential information of the old data when learning the new information. Two powerful consolidation regularizers are applied to stabilize the learned representation and ensure the robustness of the learned model. We validate our method with comprehensive experiments on various tasks, which show that SupportNet drastically outperforms the state-of-the-art incremental learning methods and even reaches similar performance as the deep learning model trained from scratch on both old and new data. Our program is accessible at: https://github.com/lykaust15/SupportNet

연구 동기 및 목표

• 딥 러닝 모델이 새로운 데이터로 훈련될 때 이전에 학습한 지식을 상실하는 문제인 클래스 인크리멘탈 러닝에서의 치명적인 잊음을 해결하기 위해.
• 재훈련을 피하면서도 이전 작업의 성능를 유지하는 효율적인 방법을 개발하기 위해.
• 오래된 클래스에서 대표적이고 정보가 풍부한 샘플(서포트 데이터)을 식별하고 활용하여 새로운 클래스 학습의 안정성을 높이기 위해.
• 딥 러닝과 SVM 기반 서포트 벡터 선택을 융합하여 지속적인 학습에서 안정성과 유연성의 균형을 이루기 위해.
• 두 가지 새로운 통합 정규화 기법을 통해 학습된 표현의 안정성과 일반화 능력을 향상시키기 위해.

제안 방법

• SupportNet은 사전 훈련된 딥 네URAL 네트워크를 사용하고, 오래된 클래스의 마지막 레이어 특징에 대해 SVM을 훈련시어 오래된 클래스의 서포트 벡터를 식별한다.
• 이러한 서포트 벡터는 오래된 클래스의 대표 샘플로, 인크리멘탈 훈련 기간 동안 새로운 데이터와 함께 재생된다.
• 모델는 새로운 데이터와 서포트 데이터에 대한 교차 엔트로피 손실를 포함한 복합 손실를 사용하여 미세조정된다. 이는 지식 유지를 보장한다.
• 두 가지 통합 정규화 기법이 적용된다: 하나는 특징 표현을 안정화시키고, 다른 하나는 오래된 클래스의 결정 경계를 유지한다.
• 각 인크리멘탈 학습 단계에서 이전 클래스의 서포트 데이터를 동적으로 통합하여, 전체 오래된 데이터 세트를 저장하지 않고도 재생 효과를 모방한다.
• 서포트 벡터는 SVM의 결정 경계에서 기하학적으로 중요한 요소이므로, 높은 정보량을 가진다.

실험 결과

연구 질문

• RQ1 오래된 클래스 특징에 대해 훈련된 SVM에서 유도된 서포트 벡터가 오래된 클래스의 핵심 정보를 압축된 형태로 효과적으로 표현할 수 있는가?
• RQ2 인크리멘탈 훈련 기간 동안 서포트 데이터를 재생함으로써 오래된 작업과 새로운 작업의 성능에 어떤 영향을 미치는가?
• RQ3 기존의 정규화 및 재생 기반 방법과 비교했을 때 SupportNet은 치명적인 잊음을 얼마나 줄일 수 있는가?
• RQ4 서포트 데이터와 통합 정규화 기법을 사용할 때 안정성과 유연성의 균형이 성능에 어떤 영향을 미치는가?
• RQ5 원래의 오래된 데이터를 저장하지 않고도 SupportNet은 전체 데이터로 재훈련한 성능에 근접할 수 있는가?

주요 결과

• SupportNet은 CIFAR-100과 Tiny ImageNet을 포함한 다양한 벤치마크에서 최신 기술보다 뛰어난 성능을 보였다.
• CIFAR-100에서 SupportNet은 평균 정확도 84.3%를 달성하여 iCaRL(78.9%) 및 기타 기준 모델을 크게 앞섰다.
• 전체 재훈련 기준 대비 성능 저하를 약 13%로 줄여 강력한 안정성을 입증했다.
• 효소 기능 예측 데이터셋에서 SupportNet은 83.9%의 테스트 정확도를 유지했고, iCaRL는 62.9%로 떨어져 과적합이 적음을 시사했다.
• 제거 실험 결과, SVM을 통한 서포트 데이터 선택이 핵심임을 확인했으며, 이를 제거하면 iCaRL의 성능은 37% 감소하지만 SupportNet은 단지 7% 감소했다.
• 두 가지 통합 정규화 기법은 강력한 안정성을 향상시켰으며, 안정성 정규화 기법은 표현의 이탈을 줄이고, 유연성 정규화 기법은 새로운 클래스에 효과적으로 적응할 수 있도록 했다.