[论文解读] Half-Real Half-Fake Distillation for Class-Incremental Semantic Segmentation

Zilong Huang, Wentian Hao+5 more|arXiv (Cornell University)|Apr 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用 9

一句话总结

该论文提出了一种新型的类增量语义分割框架——半真实半虚假蒸馏（HRHF），通过一种名为SegInversion的新方法，利用图像级标签和尺度感知聚合模块从随机噪声中反演训练好的分割模型，生成旧类别的合成图像。通过在蒸馏框架中结合新类别的真实数据与旧类别的虚假数据，HRHF显著缓解了灾难性遗忘问题，并在PASCAL VOC 2012和ADE20K数据集上取得了最先进性能。

ABSTRACT

Despite their success for semantic segmentation, convolutional neural networks are ill-equipped for incremental learning, \ie, adapting the original segmentation model as new classes are available but the initial training data is not retained. Actually, they are vulnerable to catastrophic forgetting problem. We try to address this issue by "inverting" the trained segmentation network to synthesize input images starting from random noise. To avoid setting detailed pixel-wise segmentation maps as the supervision manually, we propose the SegInversion to synthesize images using the image-level labels. To increase the diversity of synthetic images, the Scale-Aware Aggregation module is integrated into SegInversion for controlling the scale (the number of pixels) of synthetic objects. Along with real images of new classes, the synthesized images will be fed into the distillation-based framework to train the new segmentation model which retains the information about previously learned classes, whilst updating the current model to learn the new ones. The proposed method significantly outperforms other incremental learning methods and obtains state-of-the-art performance on the PASCAL VOC 2012 and ADE20K datasets. The code and models will be made publicly available.

研究动机与目标

• 解决在缺乏先前训练数据的情况下，类增量语义分割中的灾难性遗忘问题。
• 克服在增量学习过程中旧类别样本缺失的挑战。
• 开发一种方法，仅依赖预训练的分割模型，无需像素级监督，即可生成多样化、类别条件的合成图像。
• 设计一种蒸馏框架，通过结合真实新类别数据与合成旧类别数据，有效实现从旧模型到新模型的知识迁移。
• 在数据高效的前提下，提升对先前学习类别的泛化能力与保留能力，同时学习新类别。

提出的方法

• 提出SegInversion方法，通过使用图像级标签作为监督信号，从随机噪声中反演训练好的分割模型，生成类别条件的合成图像。
• 引入尺度感知聚合（SAA）模块，自适应地将分割特征聚合为分类得分，从而实现对生成目标尺度（像素数量）的控制。
• 利用SAA模块在图像生成过程中动态调整目标尺度，提升生成虚假数据的多样性。
• 设计半真实半虚假蒸馏（HRHF）框架，将新类别的真实图像与旧类别的合成图像结合，在基于蒸馏的训练过程中进行联合优化。
• 应用知识蒸馏，同时使用分割损失与蒸馏损失，以在学习新类别时保留旧类别的知识。
• 从{0.5, 1, 5, 10, 20}中随机采样聚合温度r，以控制目标尺度并提升合成数据的泛化能力。

实验结果

研究问题

• RQ1 能否通过预训练分割模型生成的合成数据，有效缓解类增量语义分割中的灾难性遗忘？
• RQ2 如何在无需像素级标注的情况下，生成多样化、类别条件的旧类别合成图像？
• RQ3 在基于蒸馏的增量学习框架中，真实数据与合成数据的最佳平衡比例是什么？
• RQ4 通过可学习的聚合机制控制生成目标的尺度，是否能提升合成数据的质量与多样性？
• RQ5 在蒸馏框架中结合新类别的真实数据与旧类别的合成数据，是否能同时提升新旧类别的性能？

主要发现

• HRHF在PASCAL VOC 2012上实现了最先进性能，在多种增量学习设置下均优于现有方法。
• 在ADE20K的100-50设置下，HRHF相比强基线MiB整体性能提升1.2%。
• 在更具挑战性的ADE20K 100-10设置下，HRHF相比MiB性能提升4.3%，展现出在数据有限情况下的鲁棒性。
• 在ADE20K的三步100-50设置下，HRHF取得最佳结果，相比基线总性能提升6.3%。
• 消融实验表明，蒸馏损失显著提升了旧类别上的性能，且真实数据与虚假数据1:1的比例达到最优效果。
• SAA模块中使用随机r值相比固定r值能进一步提升性能，表明尺度多样性有助于提升合成数据的泛化能力。