[论文解读] DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation

Jingfan Chen, Yuxi Wang+5 more|arXiv (Cornell University)|Aug 2, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出 DiffusePast，一种基于扩散模型的生成回放框架，用于类别增量语义分割，可提升掩码精度并减轻灾难性遗忘。通过采用双生成器范式——分布对齐扩散回放（DDR）与结构保持扩散回放（SDR），该方法生成高保真、语义精确的图像及可靠伪掩码，在 VOC 15-5 和 ADE20K 50-50 基准上达到最先进性能。

ABSTRACT

The Class Incremental Semantic Segmentation (CISS) extends the traditional segmentation task by incrementally learning newly added classes. Previous work has introduced generative replay, which involves replaying old class samples generated from a pre-trained GAN, to address the issues of catastrophic forgetting and privacy concerns. However, the generated images lack semantic precision and exhibit out-of-distribution characteristics, resulting in inaccurate masks that further degrade the segmentation performance. To tackle these challenges, we propose DiffusePast, a novel framework featuring a diffusion-based generative replay module that generates semantically accurate images with more reliable masks guided by different instructions (e.g., text prompts or edge maps). Specifically, DiffusePast introduces a dual-generator paradigm, which focuses on generating old class images that align with the distribution of downstream datasets while preserving the structure and layout of the original images, enabling more precise masks. To adapt to the novel visual concepts of newly added classes continuously, we incorporate class-wise token embedding when updating the dual-generator. Moreover, we assign adequate pseudo-labels of old classes to the background pixels in the new step images, further mitigating the forgetting of previously learned knowledge. Through comprehensive experiments, our method demonstrates competitive performance across mainstream benchmarks, striking a better balance between the performance of old and novel classes.

研究动机与目标

• 为解决基于 GAN 的生成回放在类别增量语义分割（CISS）中导致的灾难性遗忘与伪掩码质量差的问题。
• 克服基于 GAN 的方法的局限性，包括因词汇外概念导致的语义不准确与分布不匹配，以及因生成器冻结带来的问题。
• 通过扩散模型提升回放图像及其对应伪标签的保真度与语义一致性。
• 在适应新视觉概念的同时，保持对旧类别的知识。
• 通过为新生成图像中的背景像素分配伪标签，增强模型泛化能力。

提出的方法

• 提出双生成器框架：分布对齐扩散回放（DDR）用于匹配旧类数据分布，结构保持扩散回放（SDR）用于保留空间布局与掩码结构。
• 在生成器更新过程中使用预训练的 Stable Diffusion 及类别特定的 token 嵌入，以适应新视觉概念，而无需完整微调。
• 应用文本提示或边缘图作为条件输入，引导图像生成，确保与原始数据的语义一致性。
• 为生成图像中的背景像素分配伪标签，以强化旧类与新类之间的判别能力。
• 采用知识蒸馏，结合交叉熵损失与 logit 蒸馏，对旧类 logits 和背景 logits 同时进行，以稳定学习过程。
• 实际中以 0.8 的比例融合 DDR 与 SDR 样本，平衡分布对齐与结构保真。

实验结果

研究问题

• RQ1 基于扩散模型的生成回放是否能在 CISS 中生成语义准确的图像与精确的伪掩码，优于基于 GAN 的方法？
• RQ2 双生成器设计（DDR 与 SDR）在回放图像中如何提升分布对齐与结构保持能力？
• RQ3 引入类别特定的 token 嵌入在无需灾难性遗忘的前提下，对适应新视觉概念有多大帮助？
• RQ4 为生成图像中的背景像素分配伪标签是否能增强判别能力并减少遗忘？
• RQ5 生成回放规模的选择如何影响增量学习设置下的模型性能？

主要发现

• DiffusePast 在 ADE20K 50-50 上达到 73.45 mIoU 与 66.27 hIoU，优于先前所有方法，包括记忆回放基线。
• 消融实验表明，DDR 与 SDR 单独使用时均优于标准 Stable Diffusion（SD），其中 DDR 在 ADE20K 上带来最大提升。
• 同时使用交叉熵损失与知识蒸馏（含背景 logit 蒸馏）相比仅使用伪标签，mIoU 提升 2.43 个百分点。
• 即使仅生成 20 个样本，DiffusePast 仍保持强性能，而基于 SD 的生成在小样本下因分布不匹配导致性能下降。
• 该方法始终优于基于记忆回放的基线方法（SSUL-M 与 Ours-M），证明动态、多样化的回放优于固定记忆的优势。
• 消融实验确认，对背景 logit 进行蒸馏会损害性能，而伪标签分配与恰当的知识蒸馏可显著减少遗忘。