[论文解读] ALIFE: Adaptive Logit Regularizer and Feature Replay for Incremental Semantic Segmentation

Youngmin Oh, Donghyeon Baek+1 more|arXiv (Cornell University)|Oct 13, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出 ALIFE，一种新型的增量语义分割方法，结合自适应logit正则化器（ALI）以缓解灾难性遗忘，并采用基于类别特定旋转矩阵的特征回放策略以减少内存使用。ALIFE 在标准基准上实现了最先进性能，通过有效平衡准确率与效率，无需依赖原始图像回放。

ABSTRACT

We address the problem of incremental semantic segmentation (ISS) recognizing novel object/stuff categories continually without forgetting previous ones that have been learned. The catastrophic forgetting problem is particularly severe in ISS, since pixel-level ground-truth labels are available only for the novel categories at training time. To address the problem, regularization-based methods exploit probability calibration techniques to learn semantic information from unlabeled pixels. While such techniques are effective, there is still a lack of theoretical understanding of them. Replay-based methods propose to memorize a small set of images for previous categories. They achieve state-of-the-art performance at the cost of large memory footprint. We propose in this paper a novel ISS method, dubbed ALIFE, that provides a better compromise between accuracy and efficiency. To this end, we first show an in-depth analysis on the calibration techniques to better understand the effects on ISS. Based on this, we then introduce an adaptive logit regularizer (ALI) that enables our model to better learn new categories, while retaining knowledge for previous ones. We also present a feature replay scheme that memorizes features, instead of images directly, in order to reduce memory requirements significantly. Since a feature extractor is changed continually, memorized features should also be updated at every incremental stage. To handle this, we introduce category-specific rotation matrices updating the features for each category separately. We demonstrate the effectiveness of our approach with extensive experiments on standard ISS benchmarks, and show that our method achieves a better trade-off in terms of accuracy and efficiency.

研究动机与目标

• 解决增量语义分割（ISS）中的灾难性遗忘问题，即模型在学习新类别时遗忘先前学习过的类别。
• 通过提供对概率校准技术（如CCE和CKD）的更深层次理论理解，改进现有基于正则化的方法。
• 通过用类别特定旋转矩阵实现的潜在特征回放替代原始图像存储，降低基于回放方法的内存开销。
• 开发一种方法，在最小化计算与存储成本的同时，保持对旧类别和新类别的高准确率。

提出的方法

• 提出一种自适应logit正则化器（ALI），在训练过程中动态调整logit值，以减少对新类别的过拟合，同时保留对先前类别的判别能力。
• 分析CCE和CKD项的梯度，揭示其局限性：CCE无条件增加所有先前类别的logit值，无论预测是否正确；CKD则模糊了新类别与背景类别之间的区分。
• 引入一种特征回放机制，存储并更新潜在特征而非原始图像，显著降低内存占用。
• 通过Cayley变换使用类别特定旋转矩阵，高效地在每个增量阶段更新记忆中的特征，以适应特征提取器的演变。
• 选择性地应用知识蒸馏（KD）——仅在有标签区域或在所有区域应用，避免在无标签区域进行冗余KD，防止性能下降。
• 在端到端训练方案中结合ALI与特征回放，实现模型与回放特征的增量式联合更新。

实验结果

研究问题

• RQ1 现有概率校准技术（如CCE和CKD）在增量语义分割中如何促进或阻碍性能表现？
• RQ2 能否设计一种自适应logit正则化器，以更好地平衡新类别学习与旧知识保留？
• RQ3 用潜在特征回放替代原始图像回放是否能在不损失性能的前提下减少内存使用？
• RQ4 类别特定旋转矩阵能否有效维持增量训练各阶段之间的特征一致性？
• RQ5 在增量设置中，如何最优组合损失项（CE、ALI、KD）以最大化mIoU与hIoU？

主要发现

• 消融实验表明，仅使用交叉熵（CE）损失会导致严重的灾难性遗忘，ADE20K上的mIoU下降至14.19。
• 仅添加ALI即可将PASCAL VOC 16-5(1)上的mIoU提升至62.50，证明其在缓解遗忘方面的有效性。
• 仅在有标签区域应用知识蒸馏（KD）可获得最佳性能（mIoU 71.31，hIoU 62.50），而在无标签区域应用KD则导致性能下降。
• 同时使用ALI与特征回放（每类别1K个特征）在PASCAL VOC 16-5(1)上实现了最高的hIoU 64.57，创下新的最先进纪录。
• ALI与伪标签（All*）的结合使mIoU相比基线提升2.5个百分点，表明其在处理类别不平衡问题上的有效性。
• 该方法实现了更优的准确率-内存权衡，ALIFE在mIoU与hIoU上均优于以往基于回放的方法，且内存使用显著更低。