[논문 리뷰] Decomposed Knowledge Distillation for Class-Incremental Semantic Segmentation

Donghyeon Baek, Youngmin Oh외 3명|arXiv (Cornell University)|2022. 10. 12.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 분해 지식 전이(DKD)와 지식 기반 분류기 초기화 방법을 사용한 새로운 클래스 증분 세분화 프레임워크를 제안한다. DKD는 긍정적 및 부정적 추론 점수를 별도로 유지하여 강성 향상에 기여하며, 초기화 기법은 이전에 학습된 부정적 샘플의 지식을 전이하여 새로운 클래스 학습을 향상시킨다. 이는 표준 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Class-incremental semantic segmentation (CISS) labels each pixel of an image with a corresponding object/stuff class continually. To this end, it is crucial to learn novel classes incrementally without forgetting previously learned knowledge. Current CISS methods typically use a knowledge distillation (KD) technique for preserving classifier logits, or freeze a feature extractor, to avoid the forgetting problem. The strong constraints, however, prevent learning discriminative features for novel classes. We introduce a CISS framework that alleviates the forgetting problem and facilitates learning novel classes effectively. We have found that a logit can be decomposed into two terms. They quantify how likely an input belongs to a particular class or not, providing a clue for a reasoning process of a model. The KD technique, in this context, preserves the sum of two terms (i.e., a class logit), suggesting that each could be changed and thus the KD does not imitate the reasoning process. To impose constraints on each term explicitly, we propose a new decomposed knowledge distillation (DKD) technique, improving the rigidity of a model and addressing the forgetting problem more effectively. We also introduce a novel initialization method to train new classifiers for novel classes. In CISS, the number of negative training samples for novel classes is not sufficient to discriminate old classes. To mitigate this, we propose to transfer knowledge of negatives to the classifiers successively using an auxiliary classifier, boosting the performance significantly. Experimental results on standard CISS benchmarks demonstrate the effectiveness of our framework.

연구 동기 및 목표

• 모델의 강성과 탄력성의 균형을 유지함으로써 클래스 증분 세분화(CISS)에서의 치명적 기억 상실 문제를 해결한다.
• 기존 방법들이 특징 추출기의 동결 또는 중요도 감지기 의존에 의존하는 한계를 극복한다.
• 증분 학습에서 희소한 부정적 샘플을 효과적으로 활용하여 새로운 클래스의 일반화 성능을 향상시킨다.
• 백본을 동결하지 않고도 증분 단계 간의 추론 일관성을 유지하는 학습 프레임워크를 개발한다.

제안 방법

• 지식 전이 중 변화를 별도로 제약하기 위해 모델 로그릿을 긍정적 및 부정적 추론 점수로 분해한다.
• 긍정적 및 부정적 추론 점수를 명시적으로 유지하는 분해 지식 전이(DKD)를 제안하여 모델의 강성을 향상시킨다.
• 현재 단계의 샘플로 훈련된 보조 분류기를 통해 부정적 샘플에 대한 사전 지식을 확보하고, 향후 새로운 클래스의 분류기를 초기화하는 데 사용한다.
• 소프트맥스 유도 기억 상실을 방지하기 위해 개별 새로운 클래스에 대해 다중 이진 교차 엔트로피(mBCE) 항목을 사용한다.
• 특징 추출기를 종합적으로 훈련하여, DKD를 통해 이전 클래스의 지식을 유지하면서도 새로운 클래스에 대한 특징 학습을 향상시킨다.
• DKD 및 초기화 기법을 사전 학습된 모델 없이도 새로 훈련된 모델에 적용하여, 프레임워크가 증분 인식 가능하고 효과적인 방법이 되도록 한다.

실험 결과

연구 질문

• RQ1 로그릿을 긍정적 및 부정적 추론 점수로 분해하면 클래스 증분 세분화에서 더 효과적인 지식 전이가 가능한가?
• RQ2 표준 지식 전이와 비교해 별도로 추론 점수를 유지하는 것이 모델 강성 향상에 어떻게 기여하는가?
• RQ3 부정적 샘플에 대한 사전 지식을 효과적으로 전이하여 새로운 클래스의 분류기 초기화를 향상시킬 수 있는가?
• RQ4 제안된 방법은 백본을 동결하거나 중요도 감지기를 사용하는 기존 CISS 접근법보다 우수한 성능을 내는가?
• RQ5 치명적 기억 상실 없이도 이전 클래스와 새로운 클래스 모두에서 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 DKD 기법은 긍정적 및 부정적 추론 점수 변화의 L2 노름을 크게 감소시켜 안정성과 강성 향상을 나타낸다.
• DKD는 SSUL에서처럼 특징 추출기를 동결하는 것보다 더 높은 mIoU_b 점수를 달성하여 기억 상실 완화 효과가 뛰어나다는 것을 입증한다.
• 제안된 초기화 방법은 사전 구매형 중요도 감지기를 사용하지 않더라도 mIoU_n 점수를 크게 향상시킨다.
• 시각화 결과, 제안된 방법으로 초기화된 분류기는 배경 및 이전 클래스에서의 잘못된 활성화를 더 효과적으로 억제하는 것으로 나타났다.
• 전체 프레임워크는 표준 CISS 벤치마크에서 새로운 최신 기술 성능을 달성하였으며, 기본 클래스와 새로운 클래스 양쪽에서 뚜렷한 성능 향상을 보였다.
• 이 방법은 거의 무시할 수 없는 계산 오버헤드로 높은 성능을 달성하여 실세계 증분 학습에 실용적이다.