[论文解读] Decomposed Knowledge Distillation for Class-Incremental Semantic Segmentation

Donghyeon Baek, Youngmin Oh+3 more|arXiv (Cornell University)|Oct 12, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种新颖的类别增量语义分割框架，采用分解知识蒸馏（DKD）和基于知识迁移的分类器初始化方法。DKD 分别保留正样本和负样本的推理分数，以提升模型的刚性；而初始化技术则将负样本的先验知识迁移至新类学习中，从而在标准基准上实现最先进性能。

ABSTRACT

Class-incremental semantic segmentation (CISS) labels each pixel of an image with a corresponding object/stuff class continually. To this end, it is crucial to learn novel classes incrementally without forgetting previously learned knowledge. Current CISS methods typically use a knowledge distillation (KD) technique for preserving classifier logits, or freeze a feature extractor, to avoid the forgetting problem. The strong constraints, however, prevent learning discriminative features for novel classes. We introduce a CISS framework that alleviates the forgetting problem and facilitates learning novel classes effectively. We have found that a logit can be decomposed into two terms. They quantify how likely an input belongs to a particular class or not, providing a clue for a reasoning process of a model. The KD technique, in this context, preserves the sum of two terms (i.e., a class logit), suggesting that each could be changed and thus the KD does not imitate the reasoning process. To impose constraints on each term explicitly, we propose a new decomposed knowledge distillation (DKD) technique, improving the rigidity of a model and addressing the forgetting problem more effectively. We also introduce a novel initialization method to train new classifiers for novel classes. In CISS, the number of negative training samples for novel classes is not sufficient to discriminate old classes. To mitigate this, we propose to transfer knowledge of negatives to the classifiers successively using an auxiliary classifier, boosting the performance significantly. Experimental results on standard CISS benchmarks demonstrate the effectiveness of our framework.

研究动机与目标

• 通过平衡模型刚性与可塑性，缓解类别增量语义分割（CISS）中的灾难性遗忘问题。
• 克服现有方法的局限性，这些方法通常冻结特征提取器或依赖显著性检测器进行分类器初始化。
• 通过有效利用增量学习中稀缺的负样本，提升新类别的泛化能力。
• 开发一种训练范式，确保在不冻结主干网络的前提下，各增量步骤间保持推理一致性。

提出的方法

• 将模型输出 logits 分解为正样本和负样本的推理分数，以在知识蒸馏过程中分别约束其变化。
• 提出分解知识蒸馏（DKD），显式保留正样本与负样本的推理分数，从而提升模型刚性。
• 引入一个在当前阶段样本上训练的辅助分类器，作为负样本的先验知识，用于初始化未来新类别的分类器。
• 为每个新类别使用多个二元交叉熵（mBCE）损失项，以避免因 Softmax 引发的遗忘。
• 端到端训练特征提取器，从而在保持旧类别知识的同时，提升新类别特征学习效果（通过 DKD 实现）。
• 将 DKD 与初始化技术应用于从头训练的模型，使方法具备增量感知能力，且无需预训练模型即可有效运行。

实验结果

研究问题

• RQ1 将 logits 分解为正样本与负样本推理分数，是否能提升类别增量语义分割中的知识蒸馏效果？
• RQ2 分别保留推理分数是否能相比标准知识蒸馏更有效地提升模型刚性？
• RQ3 能否有效迁移负样本的先验知识，以改善新类别的分类器初始化？
• RQ4 所提方法是否优于那些冻结主干或依赖显著性检测器的现有 CISS 方法？
• RQ5 该框架是否能在不发生灾难性遗忘的前提下，同时保持对旧类别与新类别的高性能？

主要发现

• 所提出的 DKD 技术显著降低了正样本与负样本推理分数变化的 L2 范数，表明模型稳定性与刚性得到提升。
• DKD 在 mIoU_b 指标上优于特征提取器冻结的方法（如 SSUL），证明其在缓解遗忘方面更具优势。
• 所提初始化方法显著提升了 mIoU_n 指标，且无需使用现成的显著性检测器。
• 可视化结果表明，采用该方法初始化的分类器能更有效地抑制背景与旧类别上的误激活。
• 完整框架在标准 CISS 基准上达到新的 SOTA 水平，新类别与基础类别的性能均有显著提升。
• 该方法在计算开销可忽略不计的前提下实现强大性能，具备在真实增量学习场景中应用的可行性。