[논문 리뷰] Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors

Zhuoyun Li, Changhong Zhong외 3명|arXiv (Cornell University)|2021. 04. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 21

한 줄 요약

이 논문은 학습된 모든 이전 특징 추출기들을 융합하여 통합 분류기로 만들고, 가속 가능한 특징 변환과 동적 프루닝을 통해 모델 크기를 제어함으로써 이전 지식을 유지하는 지속적 학습 프레임워크를 제안한다. 이 방법은 특히 초기에 학습된 클래스에 대한 치명적인 잊음 현상을 크게 줄여, 클래스 증분 학습 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Continual learning of new knowledge over time is one desirable capability for intelligent systems to recognize more and more classes of objects. Without or with very limited amount of old data stored, an intelligent system often catastrophically forgets previously learned old knowledge when learning new knowledge. Recently, various approaches have been proposed to alleviate the catastrophic forgetting issue. However, old knowledge learned earlier is commonly less preserved than that learned more recently. In order to reduce the forgetting of particularly earlier learned old knowledge and improve the overall continual learning performance, we propose a simple yet effective fusion mechanism by including all the previously learned feature extractors into the intelligent model. In addition, a new feature extractor is included to the model when learning a new set of classes each time, and a feature extractor pruning is also applied to prevent the whole model size from growing rapidly. Experiments on multiple classification tasks show that the proposed approach can effectively reduce the forgetting of old knowledge, achieving state-of-the-art continual learning performance.

연구 동기 및 목표

• 지속적 학습에서 치명적인 잊음 현상, 특히 이른 시기의 학습 라운드에서 획득한 지식의 비례적 잊음 현상을 해결하기 위해.
• 최근 모델 뿐 아니라 모든 과거 모델의 지식을 활용하여 전체 지속적 학습 성능을 향상시키기 위해.
• 지속적인 특징 추출기 추가에도 불구하고 동적 프루닝을 통해 모델 효율성을 유지하기 위해.
• 단일 모델에서의 지식 전이보다 다수의 과거 특징 추출기를 융합하는 것이 더 효과적인지 탐구하기 위해.

제안 방법

• 지식 융합 메커니즘은 이전에 훈련된 모든 특징 추출기의 특징 표현을 융합하며, 각 특징 추출기 뒤에 특징 공간을 정렬하기 위한 학습 가능한 변환 레이어를 추가한다.
• 융합된 특징들은 새로운 클래스 훈련 시 공통 분류기 헤드의 입력으로 사용되어, 모든 이전 학습 라운드의 지식에 접근할 수 있도록 한다.
• 각 새로운 모델 훈련 후 특징 추출기 프루닝 전략을 적용하여 커널 수와 파라미터 수를 각각 50–60%와 70% 감소시켜 모델 성장률을 제한한다.
• 학습 기간 동안 모든 과거 특징 추출기를 고정(frozen) 상태로 유지하여 학습된 지식를 보존하고 간섭을 방지한다.
• CIFAR-100 및 기타 데이터셋에서 ResNet 및 다른 CNN 백본을 사용하여 표준 클래스 증분 학습 프rotocol을 기반으로 프레임워크를 평가한다.
• 제거 실험은 융합, 특징 변환, 프루닝의 영향을 비교하여 각 구성 요소의 기여도를 검증한다.

실험 결과

연구 질문

• RQ1 모든 과거 특징 추출기의 지식을 융합하는 것이 최근 모델만을 기반으로 하는 것보다 초기에 학습된 클래스의 잊음 현상을 더 효과적으로 줄이는가?
• RQ2 다수의 과거 특징 추출기를 포함하는 것이 단일 모델에서의 지식 전이보다 지속적 학습 성능 향상에 기여하는가?
• RQ3 제안된 프루닝 메커니즘이 성능 저하 없이 모델 크기를 효과적으로 제어하는가?
• RQ4 성능 향상은 증가된 모델 용량 때문인가, 아니면 고정된 특징 추출기에서 보존된 지식 때문인가?

주요 결과

• 10회의 학습 라운드 후 CIFAR-100에서 평균 정확도 70.5%를 달성하여 강력한 베이스라인을 초월하고 새로운 SOTA를 수립했다.
• 모든 이전 특징 추출기를 포함함으로써 초기 학습 클래스의 잊음 현상이 감소하였으며, 최근 모델에 의존하는 방법 대비 첫 번째 라운드에서 학습된 클래스에서 10–15%의 성능 향상을 보였다.
• 제거 실험 결과, 융합, 특징 변환, 프루닝 모두 필수적임을 확인하였으며, 전체 방법은 개별 오래된 클래스에서 60.5%의 정확도를 달성한 반면, 구성 요소를 모두 제거한 경우 50.7%에 그쳤다.
• 단일 과거 특징 추출기를 제거하면 해당 클래스 집합에서 성능 저하가 명확히 관측되어 각 추출기가 지식 보존에 기여하고 있음을 확인했다.
• 오래된 특징 추출기의 미세조정은 성능 저하를 초래하여, 성능 향상 요인이 증가된 모델 용량이 아니라 고정된 추출기에서 보존된 지식 때문임을 입증했다.
• 다수의 과거 모델을 사용한 단순 지식 전이 전략은 제안된 융합 메커니즘보다 성능이 열 劣하여, 직접적인 전이보다 특징 융합의 우월성을 입증했다.