[논문 리뷰] Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning

Da-Wei Zhou, Hailong Sun외 2명|arXiv (Cornell University)|2024. 03. 18.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

Ease는 고정된 사전 학습 모델에 대해 태스크 특화 경량 어댑터를 학습시켜 클래스 증분 학습용 확장 가능한 서브스페이스를 생성하고, 예시 없이 시맨틱하게 오래된 클래스의 프로토타입을 합성하여 강력한 앙상블 분류기를 구축한다.

ABSTRACT

Class-Incremental Learning (CIL) requires a learning system to continually learn new classes without forgetting. Despite the strong performance of Pre-Trained Models (PTMs) in CIL, a critical issue persists: learning new classes often results in the overwriting of old ones. Excessive modification of the network causes forgetting, while minimal adjustments lead to an inadequate fit for new classes. As a result, it is desired to figure out a way of efficient model updating without harming former knowledge. In this paper, we propose ExpAndable Subspace Ensemble (EASE) for PTM-based CIL. To enable model updating without conflict, we train a distinct lightweight adapter module for each new task, aiming to create task-specific subspaces. These adapters span a high-dimensional feature space, enabling joint decision-making across multiple subspaces. As data evolves, the expanding subspaces render the old class classifiers incompatible with new-stage spaces. Correspondingly, we design a semantic-guided prototype complement strategy that synthesizes old classes' new features without using any old class instance. Extensive experiments on seven benchmark datasets verify EASE's state-of-the-art performance. Code is available at: https://github.com/sun-hailong/CVPR24-Ease

연구 동기 및 목표

• 백본을 교체하는 대신 서브스페이스를 확장하여 PTM 기반 CIL에서 재앙적 망각을 줄이는 동기를 부여한다.
• PTM을 동결한 채로 태스크 특화 서브스페이스를 만들기 위한 경량 어댑터를 제안한다.
• 시맨틱 관계에 의해 안내되는 프로토타입 보완 전략을 개발해 예시 없이 오래된 클래스 분류기를 합성한다.
• 서브스페이스 전반의 예측을 모아 통합된 클래스 의사결정을 유지한다.
• 예시 없이 학습하는 것으로 7개 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• 고정된 사전 학습 변환기에 적용된 각 증가 작업에 대해 경량 어댑터를 도입하여 다수의 태스크 특화 서브스페이스를 형성한다.
• 기본 인코더의 특징을 모든 어댑터와 연결(concatenate)하여 공동의 고차원 임베딩을 형성한다.
• 클래스 프로토타입이 어댑터별로 계산되고 어댑터 간에 연결된 프로토타입 기반 코사인 분류기를 사용한다 (P_i = [p_i,1, ..., p_i,b]).
• 공출현 공간에서 시맨틱 유사성을 통해 새 서브스페이스에서 구 old-class 프로토타입을 계산하고 현재 서브스페이스에서 이를 재구성한다 ( Eq. 9 ).
• 대각 어댑터 기여를 더 많이 가중하고(Eq. 12) 여러 서브스페이스의 로짓을 집계하여 서브스페이스 앙상블로 추론한다(Eq. 11).
• 증분 태스크당 어댑터만(및 프로토타입을 통한 경량 분류기)을 최적화한다(Eq. 5).

실험 결과

연구 질문

• RQ1 태스크 특화 경량 어댑터가 고정된 PTM에서 새로운 태스크 특징을 포착하면서도 이전에 학습한 지식을 해치지 않는가?
• RQ2 이전 예시 없이 확장되는 서브스페이스에서 오래된 클래스의 프로토타입을 합성할 수 있는가?
• RQ3 시맨틱 기반 프로토타입 보완 및 서브스페이스 재가중화가 예시 기반 및 프롬프트 기반 CIL 방법에 비해 경쟁력 있거나 우수한 성능을 가능하게 하는가?
• RQ4 여러 증가 태스크에서 메모리 및 매개변수 예산 측면에서 제안된 방법의 확장성은 어떠한가?

주요 결과

• Ease는 예시-free 학습으로 7개 벤치마크에서 최첨단 성능을 달성한다.
• 어댑터 기반 서브스페이스는 백본을 손대지 않으면서도 다양하고 태스크 특화된 특징을 제공한다.
• 시맨틱 프로토타입 보완은 오래된 예시 없이도 새 서브스페이스에서 오래된 클래스의 프로토타입 재구성을 가능하게 한다.
• 서브스페이스 재가중화는 추론 시 태스크 특화 서브스페이스를 강조하여 최종 예측을 개선한다.
• Ease는 다른 프롬프트 기반 방법과 견줄 만한 저매개변수 비용으로 경쟁력 있는 성능을 유지한다。