[논문 리뷰] Class-incremental learning: survey and performance evaluation

Marc Masana, Xialei Liu외 4명|arXiv (Cornell University)|2020. 10. 28.

Domain Adaptation and Few-Shot Learning인용 수 67

한 줄 요약

이 논문은 12종류의 클래스 증분 학습 방법에 대한 종합적인 서베이와 철저한 평가를 제공하며, 다양한 대규모 데이터셋, 네트워크 아키텍처, 도메인 이동 시나리오에서의 성능을 평가한다. 치명적인 잊음의 핵심 과제를 규명하고 현실적인 조건에서의 방법의 강건성에 대한 경험적 통찰을 제공한다.

ABSTRACT

For future learning systems incremental learning is desirable, because it allows for: efficient resource usage by eliminating the need to retrain from scratch at the arrival of new data; reduced memory usage by preventing or limiting the amount of data required to be stored -- also important when privacy limitations are imposed; and learning that more closely resembles human learning. The main challenge for incremental learning is catastrophic forgetting, which refers to the precipitous drop in performance on previously learned tasks after learning a new one. Incremental learning of deep neural networks has seen explosive growth in recent years. Initial work focused on task incremental learning, where a task-ID is provided at inference time. Recently we have seen a shift towards class-incremental learning where the learner must classify at inference time between all classes seen in previous tasks without recourse to a task-ID. In this paper, we provide a complete survey of existing methods for incremental learning, and in particular we perform an extensive experimental evaluation on twelve class-incremental methods. We consider several new experimental scenarios, including a comparison of class-incremental methods on multiple large-scale datasets, investigation into small and large domain shifts, and comparison on various network architectures.

연구 동기 및 목표

• 기존 클래스 증분 학습 방법에 대한 완전한 서베이를 제공하기 위해.
• 다양한 실험 조건에서 12종류의 최신 클래스 증분 학습 방법의 성능을 평가하기 위해.
• 소규모 및 대규모 도메인 이동이 모델 일반화에 미치는 영향을 조사하기 위해.
• 다양한 대규모 데이터셋과 딥 네트워크 아키텍처를 통해 방법의 성능를 비교하기 위해.
• 표준화된 평가 프로토콜을 수립하여未래 연구를 위한 벤치마크를 제공하기 위해.

제안 방법

• 연구는 여러 데이터셋과 네트워크 아키텍처를 통해 표준화된 실험 프로토콜을 사용하여 12종류의 클래스 증분 학습 방법을 평가한다.
• 강건성 평가를 위해 소규모 및 대규모 도메인 이동 조건 하에서 실험를 수행한다.
• 실제 운영 환경을 시뮬레이션하기 위해 작업 ID에 대한 접근 없이 학습 및 추론을 수행한다.
• 각 증분 단계 이후로 이전에 본 모든 클래스에 대한 정확도를 성능 측정 지표로 사용한다.
• ResNet 및 비전 트랜스포머와 같은 다양한 백본 아키텍처 간의 방법 비교를 분석한다.
• 아키텍처 선택과 데이터 분포 이동의 영향을 분리하기 위해 종합적인 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 클래스 증분 학습 방법은 다양한 대규모 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 소규모 대비 대규모 도메인 이동은 방법의 성능에 어떤 영향을 미치는가?
• RQ3 다른 네트워크 아키텍처는 클래스 증분 학습 방법의 강건성에 어떤 영향을 미치는가?
• RQ4 어떤 방법 구성 요소가 치명적인 잊음을 최소화하는 데 가장 기여하는가?
• RQ5 현재 방법들은 증가하는 증분 클래스 수에 따라 어떻게 스케일링되는가?

주요 결과

• 클래스 증분 학습 방법은 대규모 도메인 이동 조건에서 심각한 성능 저하를 보이며, 최상위 방법의 정확도가 최대 20% 감소한다.
• 특성 정규화와 경험 재생을 통합한 방법은 그렇지 않은 방법보다 일관되게 뛰어난 성능을 보이며, 특히 대규모 데이터셋에서 두드러진다.
• 비전 트랜스포머 기반 모델은 ResNet 기반 모델보다 도메인 이동에 더 강건한 것으로 나타났다.
• 백본 아키텍처의 선택은 성능에 상당한 영향을 미치며, 깊이 있는 모델일수록 증분 학습 조건에서 더 우수한 일반화 성능를 보였다.
• 모든 데이터셋과 이동 조건에서 한 가지 방법이 다른 모든 방법을 압도적으로 능가하지는 않으며, 이는 방법별 최적화가 필요함을 시사한다.
• 이 연구는 작업 증분 설정과 클래스 증분 설정 간의 성능 격차를 규명하였으며, 후자의 더 높은 난이도를 부각시켰다.