[论文解读] Mining Unseen Classes via Regional Objectness: A Simple Baseline for Incremental Segmentation

Zekang Zhang, Guangyu Gao+3 more|arXiv (Cornell University)|Nov 13, 2022

Multimodal Machine Learning Applications被引用 12

一句话总结

本文提出 MicroSeg，一种用于类别增量语义分割的简单而有效的基线方法，通过基于区域物体度的未见类别挖掘，缓解灾难性遗忘和背景分布偏移问题。该方法从图像中生成分割提议，将高物体度的背景区域聚类为潜在的未见类别（历史或未来类别），并通过对比损失重新分配类别，从而在 Pascal VOC 和 ADE20K 数据集上实现最先进性能，相比基线模型 mIoU 提升 13.8%。

ABSTRACT

Incremental or continual learning has been extensively studied for image classification tasks to alleviate catastrophic forgetting, a phenomenon that earlier learned knowledge is forgotten when learning new concepts. For class incremental semantic segmentation, such a phenomenon often becomes much worse due to the background shift, i.e., some concepts learned at previous stages are assigned to the background class at the current training stage, therefore, significantly reducing the performance of these old concepts. To address this issue, we propose a simple yet effective method in this paper, named Mining unseen Classes via Regional Objectness for Segmentation (MicroSeg). Our MicroSeg is based on the assumption that background regions with strong objectness possibly belong to those concepts in the historical or future stages. Therefore, to avoid forgetting old knowledge at the current training stage, our MicroSeg first splits the given image into hundreds of segment proposals with a proposal generator. Those segment proposals with strong objectness from the background are then clustered and assigned newly-defined labels during the optimization. In this way, the distribution characterizes of old concepts in the feature space could be better perceived, relieving the catastrophic forgetting caused by the background shift accordingly. Extensive experiments on Pascal VOC and ADE20K datasets show competitive results with state-of-the-art, well validating the effectiveness of the proposed MicroSeg.

研究动机与目标

• 为解决类别增量语义分割（CISS）中的灾难性遗忘与背景分布偏移问题，其中旧类别和未来类别常被错误分类为背景。
• 通过识别并建模高物体度背景区域中出现的未见类别，提升持续学习中的模型稳定性与可塑性。
• 开发一种简单有效的基线方法，可泛化至多样且未见过的类别，且无需事先知晓未来类别。
• 通过使用密集分割提议实现全面覆盖，降低对显著性检测的依赖，后者常遗漏大部分未见区域。

提出的方法

• 一个提议生成器将输入图像分割为数百个与类别无关的分割提议，每个提议突出显示具有强物体度的区域。
• 利用 Micro 机制对背景中高物体度的提议进行聚类，并重新建模为未见类别（历史或未来类别）。
• 基于提议的掩码分类头为每个提议分配当前类别和未见类别标签，实现联合优化。
• 通过对比损失显式定义多个子类别并进行聚类，以捕捉松散未来类别中的特征多样性。
• 仅在首个学习阶段使用密集预测分支，以改善基础类别特征学习，并增强重构建伪标签的标签可靠性。
• 模型联合优化当前类别与重构建的未见类别，提升泛化能力并减少背景分布偏移。

实验结果

研究问题

• RQ1 是否可利用区域物体度在类别增量语义分割中发现并建模未见类别？
• RQ2 如何有效缓解由将历史与未来类别错误分类为背景所导致的背景分布偏移问题？
• RQ3 在增量学习过程中，基于提议的方法是否优于基于显著性的方法，以捕捉多样且未见的类别？
• RQ4 Micro 机制在长期增量学习中（随着学习步数增加）能多大程度上提升性能？
• RQ5 是否可通过一种简单统一的框架实现最先进性能，而无需复杂的网络结构修改？

主要发现

• 在 VOC 15-1 基准上，MicroSeg 相较基线模型 mIoU 提升 13.8%，基础类别 mIoU 达 80.1%，新类别 mIoU 达 36.8%。
• 仅使用所提出的 Micro 机制，mIoU 相较基线提升 9.9%，显著减轻了背景分布偏移的影响。
• 提议分类与 Micro 机制的结合取得最佳性能，表明其在稳定性和可塑性方面具有互补优势。
• 该方法对超参数选择具有鲁棒性，在不同 K 值（未来类别数量）与 τ 值（标签重构建中的阈值）下性能下降极小。
• MicroSeg-M 在所有增量学习步骤中均优于现有 SOTA 方法（如 SSUL），尤其在长期场景中表现更优，而现有方法常出现严重性能下降。
• 在 t=1 阶段引入的密集预测分支可提升基础类别学习效果，从而增强重构建伪标签的可靠性，并进一步提升新类别性能。