[논문 리뷰] DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation

Jingfan Chen, Yuxi Wang외 5명|arXiv (Cornell University)|2023. 08. 02.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 분류 증분 세분화에서 치명적인 잊음과 낮은 가짜 마스크 품질 문제를 해결하기 위해 확산 기반의 생성적 리플레이 프레임워크인 DiffusePast을 제안한다. 이는 이중 생성기 아키텍처인 분포 일치 확산 리플레이(DDR)와 구조 유지 확산 리플레이(SDR)를 활용하여 고해상도이자 의미적으로 정확한 이미지와 신뢰할 수 있는 가짜 마스크를 생성함으로써, VOC 15-5 및 ADE20K 50-50 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

The Class Incremental Semantic Segmentation (CISS) extends the traditional segmentation task by incrementally learning newly added classes. Previous work has introduced generative replay, which involves replaying old class samples generated from a pre-trained GAN, to address the issues of catastrophic forgetting and privacy concerns. However, the generated images lack semantic precision and exhibit out-of-distribution characteristics, resulting in inaccurate masks that further degrade the segmentation performance. To tackle these challenges, we propose DiffusePast, a novel framework featuring a diffusion-based generative replay module that generates semantically accurate images with more reliable masks guided by different instructions (e.g., text prompts or edge maps). Specifically, DiffusePast introduces a dual-generator paradigm, which focuses on generating old class images that align with the distribution of downstream datasets while preserving the structure and layout of the original images, enabling more precise masks. To adapt to the novel visual concepts of newly added classes continuously, we incorporate class-wise token embedding when updating the dual-generator. Moreover, we assign adequate pseudo-labels of old classes to the background pixels in the new step images, further mitigating the forgetting of previously learned knowledge. Through comprehensive experiments, our method demonstrates competitive performance across mainstream benchmarks, striking a better balance between the performance of old and novel classes.

연구 동기 및 목표

• 생성적 리플레이에 기반한 GAN 기반 방법으로 인해 발생하는 치명적인 잊음과 열악한 가짜 마스크 품질 문제를 해결하기 위해.
• GAN 기반 방법의 한계, 즉 어휘 외 개념으로 인한 의미적 정확도 저하와 고정된 생성기로 인한 분포 불일치 문제를 극복하기 위해.
• 확산 모델을 활용하여 재생된 이미지의 해상도와 의미 일관성을 향상시키고, 해당 이미지의 가짜 레이블도 개선하기 위해.
• 증분 학습 과정에서 오래된 클래스의 지식을 유지하면서도 새로운 시각적 개념에 적응할 수 있도록 하기 위해.
• 새로 생성된 이미지의 배경 픽셀에 가짜 레이블을 할당하여 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 이중 생성기 프레임워크를 도입: 오래된 클래스의 데이터 분포를 일치시키는 분포 일치 확산 리플레이(DDR), 그리고 공간 레이아웃과 마스크 구조를 유지하는 구조 유지 확산 리플레이(SDR).
• 완전한 미세조정 없이도 새로운 시각적 개념에 적응할 수 있도록 생성기 업데이트 시 클래스별 토큰 임베딩을 활용한 사전 학습된 Stable Diffusion 사용.
• 텍스트 프롬프트 또는 에지 맵을 조건부 입력으로 사용하여 이미지 생성을 유도함으로써 원본 데이터와 의미 일관성을 확보.
• 재생된 이미지의 배경 픽셀에 가짜 레이블을 할당하여 오래된 클래스와 새로운 클래스 간의 구분 능력을 강화.
• 오래된 클래스의 소프트맥스 출력과 배경 클래스의 소프트맥스 출력에 대해 교차 엔트로피와 로짓 디스틸리케이션을 동시에 적용하여 학습 안정화.
• 실제 구현에서는 DDR와 SDR 샘플을 0.8 비율로 융합하여 분포 일치와 구조적 정확성 간의 균형을 확보.

실험 결과

연구 질문

• RQ1 확산 기반 생성적 리플레이는 GAN 기반 방법보다 CISS에 적합한 의미 정확한 이미지와 정밀한 가짜 마스크를 생성하는 데 뛰어난 성능을 보일 수 있는가?
• RQ2 이중 생성기 아키텍처(DDR 및 SDR)는 재생된 이미지에서 분포 일치와 구조 유지에 어떻게 기여하는가?
• RQ3 클래스별 토큰 임베딩을 통합함으로써 치명적인 잊음 없이 새로운 시각적 개념에 적응하는 데 얼마나 기여하는가?
• RQ4 생성된 이미지의 배경 픽셀에 가짜 레이블을 할당하는 것이 분류 성능 향상과 잊음 감소에 기여하는가?
• RQ5 생성적 리플레이 샘플 크기의 선택이 증분 학습 환경에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• ADE20K 50-50에서 DiffusePast는 73.45 mIoU와 66.27 hIoU를 기록하여 메모리 리플레이 베이스라인을 포함한 기존 방법들을 초월한다.
• 절단 분석 결과, DDR와 SDR는 각각 표준 Stable Diffusion(SD)보다 성능 향상을 이끌었으며, ADE20K에서 DDR가 가장 높은 성능 향상을 보였다.
• 가짜 레이블 외에도 교차 엔트로피와 배경 로짓 디스틸리케이션을 함께 적용할 경우, mIoU가 2.43 포인트 향상되었다.
• 단지 20개의 생성 샘플만으로도 DiffusePast는 강력한 성능 유지를 유지하는 반면, SD 기반 생성 시 작은 샘플 크기에서는 분포 불일치로 인해 성능 저하가 발생했다.
• 메모리 리플레이 기반의 베이스라인(SSUL-M 및 Ours-M)을 항상 능가함으로써, 고정된 메모리가 아닌 동적이고 다양한 리플레이 방식의 우수성을 입증했다.
• 절단 분석 결과, 배경 로짓으로의 디스틸리케이션은 성능 저하를 초래하는 반면, 가짜 레이블링과 적절한 디스틸리케이션 전략은 치명적인 잊음을 크게 감소시켰다.