[논문 리뷰] SSUL: Semantic Segmentation with Unknown Label for Exemplar-based Class-Incremental Learning

Sungmin Cha, beomyoung kim외 2명|arXiv (Cornell University)|2021. 06. 22.

Domain Adaptation and Few-Shot Learning인용 수 26

한 줄 요약

SSUL-M은 백그라운드 픽셀에 대해 Unknown 레이블을 도입하고, 레이블 증강을 결합하며, 모델 동결과 시그모이드 BCE로 안정적인 점수 학습을 수행하고, 작고 예시 메모리(tiny exemplar memory)를 활용하여 예시 기반의 클래스 증분 시맨틱 분할(CISS)을 발전시킨다.

ABSTRACT

This paper introduces a solid state-of-the-art baseline for a class-incremental semantic segmentation (CISS) problem. While the recent CISS algorithms utilize variants of the knowledge distillation (KD) technique to tackle the problem, they failed to fully address the critical challenges in CISS causing the catastrophic forgetting; the semantic drift of the background class and the multi-label prediction issue. To better address these challenges, we propose a new method, dubbed SSUL-M (Semantic Segmentation with Unknown Label with Memory), by carefully combining techniques tailored for semantic segmentation. Specifically, we claim three main contributions. (1) defining unknown classes within the background class to help to learn future classes (help plasticity), (2) freezing backbone network and past classifiers with binary cross-entropy loss and pseudo-labeling to overcome catastrophic forgetting (help stability), and (3) utilizing tiny exemplar memory for the first time in CISS to improve both plasticity and stability. The extensively conducted experiments show the effectiveness of our method, achieving significantly better performance than the recent state-of-the-art baselines on the standard benchmark datasets. Furthermore, we justify our contributions with thorough ablation analyses and discuss different natures of the CISS problem compared to the traditional class-incremental learning targeting classification. The official code is available at https://github.com/clovaai/SSUL.

연구 동기 및 목표

• 클래스 증분 시맨틱 분할(CISS)에서 재앙적 망각과 배경 의미 드리프트를 해결한다.
• 레이블 증강, 안정적 점수 학습, 그리고 예시 메모리 통합을 통해 가소성과 안정성을 향상시키는 강력한 베이스라인(SSUL-M)을 제안한다.
• 작고 균형 잡힌 클래스 기반의 예시 메모리(tiny exemplar memory)가 CISS에서 과거 클래스와 새로운 클래스 학습 모두를 개선함을 보인다.

제안 방법

• BG 영역 내에서 표준 배경 c_b를 보조하는 Unknown 배경 클래스 레이블 c_u를 정의한다.
• 이전 모델의 의사-레이블과 Unknown 클래스를 사용하여 주의도(saliency maps)를 활용해 미래 클래스 가능 영역과 실제 배경을 구분하여 학습 대상에 증강한다.
• 백본과 과거 분류기의 모델 동결과 함께 각 클래스별로 독립적인 시그모이드(이진 교차 엔트로피) 출력을 사용하여 점수를 점진적 단계에서 안정화한다.
• 현재 클래스에 대한 새 태스크 분류기를 이전 태스크의 Unknown 클래스 분류기를 사용해 초기화하여 빠르고 안정적인 학습을 촉진한다.
• 과거 데이터의 작고 클래스로 균형 잡힌 예시 메모리 M을 유지하여 학습을 고정하고 과거 및 현재 클래스에 대한 예측 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 BG 영역에 Unknown 레이블을 도입하는 것이 CISS에서 미래 클래스를 수용하기 위한 가소성(플라스티시티)을 향상시킬 수 있는가?
• RQ2 백본을 동결하고 타깃 초기화를 가진 시그모이드 BCE를 사용하는 것이 CISS에서 softmax 교차 엔트로피보다 더 큰 안정성을 제공하는가?
• RQ3 작고 클래스-균형 예시 메모리가 효율성을 희생하지 않으면서 예시 기반 CISS에서 가소성과 안정성을 모두 향상시킬 수 있는가?

주요 결과

• SSUL-M은 Pascal VOC 2012 및 ADE20K에서 여러 증분 설정에 대해 최첨단 성능을 달성한다.
• Unknown BG 레이블과 의사 라벨링이 가소성과 안정성을 함께 향상시키고 Unknown 클래스나 예시 메모리를 사용하지 않는 베이스라인보다 성능이 우수하다.
• 시그모이드 BCE를 이용한 모델 동결은 증가 설정에서 softmax CE보다 클래스별 점수가 더 안정적으로 나타난다.
• 예시 메모리(SSUL-M)는 특히 새로 학습된 클래스에 대해 mIoU를 추가로 향상시키며, 클래스-균형 샘플링이 무작위 샘플링보다 성능이 우수하다.
• Unknown 클래스 분류기에서의 가중치 전달은 새 클래스 학습을 가속하고 안정화한다.