[논문 리뷰] FeTrIL: Feature Translation for Exemplar-Free Class-Incremental Learning

Grégoire Petit, Adrian Popescu외 3명|arXiv (Cornell University)|2022. 11. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 12

한 줄 요약

FeTrIL은 기존 방법보다 뛰어난 안정성-유연성 균형과 더 빠른 훈련을 달성하면서도 과거 데이터를 저장하지 않고도 예외적으로 성능을 내는 새로운 예외자유 클래스 증분 학습 방법을 제안한다. 이는 고정된 특징 추출기와 기하학적 특징 이동 메커니즘을 결합하여 과거 클래스의 가짜 특징을 생성함으로써 이루어지며, TinyImageNet 및 ImageNet-Subset를 포함한 다양한 벤치마크에서 최신 기술 수준의 성능을 기록한다.

ABSTRACT

Exemplar-free class-incremental learning is very challenging due to the negative effect of catastrophic forgetting. A balance between stability and plasticity of the incremental process is needed in order to obtain good accuracy for past as well as new classes. Existing exemplar-free class-incremental methods focus either on successive fine tuning of the model, thus favoring plasticity, or on using a feature extractor fixed after the initial incremental state, thus favoring stability. We introduce a method which combines a fixed feature extractor and a pseudo-features generator to improve the stability-plasticity balance. The generator uses a simple yet effective geometric translation of new class features to create representations of past classes, made of pseudo-features. The translation of features only requires the storage of the centroid representations of past classes to produce their pseudo-features. Actual features of new classes and pseudo-features of past classes are fed into a linear classifier which is trained incrementally to discriminate between all classes. The incremental process is much faster with the proposed method compared to mainstream ones which update the entire deep model. Experiments are performed with three challenging datasets, and different incremental settings. A comparison with ten existing methods shows that our method outperforms the others in most cases.

연구 동기 및 목표

• 기존의 예외자유 증분 학습(EFCIL) 방법에서 과거 데이터를 저장하거나 메모리 집약적인 재생 기법을 사용하지 않고도 치명적인 잊음 문제를 해결한다.
• 고정된 특징 추출기와 가짜 특징 생성을 조합하여 안정성(과거 지식 유지)과 민감성(새로운 클래스 학습)의 균형을 향상시킨다.
• 딥 네트워크의 미세조정이나 지식 정복 기반 기법에 의존하는 기존 EFCIL 방법에 비해 훈련 시간과 메모리 사용량을 줄인다.
• 메모리 및 계산 자원이 제한된 장치에 실용적으로 구현할 수 있도록 저장 및 계산 오버헤드를 최소화한다.

제안 방법

• 초기 훈련 이후 딥 네트워크 백본을 고정함으로써 치명적인 잊음을 방지하고 안정성을 확보한다.
• 과거 클래스의 가짜 특징을 기하학적 이동을 통해 생성: 새로운 클래스의 특징을 특징 공간에서 과거 클래스의 중심으로 이동시킴.
• 과거 클래스의 중심만을 사용하여 가짜 특징을 생성함으로써 최소한의 저장 공간(전체 특징이 아닌 클래스 중심만 저장)을 요구한다.
• 실제로 새로운 클래스의 특징과 과거 클래스의 가짜 특징을 사용하여 선형 분류기를 점진적으로 훈련함으로써 빠른 점진적 업데이트를 가능하게 한다.
• 간단하면서도 효과적인 이동 규칙을 적용: 새로운 클래스의 특징는 목표 과거 클래스 중심과 새로운 클래스 중심 간의 벡터 차이만큼 이동시킴.
• CPU에서 빠른 점진적 훈련을 지원함(1개의 CPU 스레드로 ImageNet-Subset에서 T=10일 때 1시간 4분), PASS와 같은 GPU 기반 기준선보다 뚜렷하게 빠름.

실험 결과

연구 질문

• RQ1 기존 예외자료를 저장하지 않고도 기하학적 특징 이동 메커니즘이 과거 클래스에 대해 의미 있는 가짜 특징을 효과적으로 생성할 수 있는가?
• RQ2 고정된 특징 추출기와 가짜 특징 생성을 조합함으로써, 지식 정복 기반 또는 미세조정 기반 방법에 비해 EFCIL에서 안정성-민감성 균형을 향상시킬 수 있는가?
• RQ3 제안된 방법이 과거 및 새로운 클래스 모두에서 높은 정확도를 유지하면서도 훈련 시간과 메모리 사용량을 얼마나 줄일 수 있는가?
• RQ4 다양한 증분 학습 환경에서 FeTrIL의 성능은 최신 기술 수준의 예외자유 및 예외기반 방법과 비교해 어떻게 되는가?

주요 결과

• FeTrIL은 다양한 증분 설정에서 TinyImageNet과 ImageNet-Subset에서 최신 기술 수준의 정확도를 달성하며, 10개의 기존 EFCIL 방법을 모두 능가한다.
• ImageNet-Subset에서 단일 CPU 스레드로 훈련 시간을 1시간 4분으로 줄였고, V100 GPU를 사용한 PASS의 11시간 8분보다 훨씬 빠르게 성능을 내었다.
• 안정성-민감성 균형이 크게 향상됨: FeTrIL은 특히 후속 증분 상태에서 SSRE보다 더 높고 균형 잡힌 과거 및 새로운 클래스의 정확도를 유지한다.
• FeTrIL에서는 과거와 새로운 클래스 간의 정확도 격차가 SSRE보다 작아, 안정성과 민감성 간의 균형이 더 잘 이루어져 있음을 시사한다. 다만 상태 4에서는 도메인 이동이 성능에 영향을 미친 것으로 보인다.
• 완벽하지는 않지만 기하학적 이동을 통해 생성된 가짜 특징은 효과적이며, 이는 선형 분류기가 모든 클래스에 대해 잘 일반화할 수 있도록 한다.
• 메모리 사용이 적고 계산 오버헤드가 낮기 때문에, 예외기반 방법과의 성능 격차가 좁혀져 예외자유와 예외기반 EFCIL 설정 간의 성능 격차가 줄어들었다.