[论文解读] Towards Unsupervised Open World Semantic Segmentation

Svenja Uhlemeyer, Matthias Rottmann+1 more|arXiv (Cornell University)|Jan 4, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出了一种无监督开放世界语义分割方法，可在无需人工标注数据的情况下检测并学习新物体类别。通过使用CNN嵌入特征对低质量分割组件进行聚类，并对其伪标签化以实现增量训练，该方法在未见类别上实现了显著的分割精度——展示了在自动驾驶等真实场景中强大的零样本类别扩展能力。

ABSTRACT

For the semantic segmentation of images, state-of-the-art deep neural networks (DNNs) achieve high segmentation accuracy if that task is restricted to a closed set of classes. However, as of now DNNs have limited ability to operate in an open world, where they are tasked to identify pixels belonging to unknown objects and eventually to learn novel classes, incrementally. Humans have the capability to say: I don't know what that is, but I've already seen something like that. Therefore, it is desirable to perform such an incremental learning task in an unsupervised fashion. We introduce a method where unknown objects are clustered based on visual similarity. Those clusters are utilized to define new classes and serve as training data for unsupervised incremental learning. More precisely, the connected components of a predicted semantic segmentation are assessed by a segmentation quality estimate. connected components with a low estimated prediction quality are candidates for a subsequent clustering. Additionally, the component-wise quality assessment allows for obtaining predicted segmentation masks for the image regions potentially containing unknown objects. The respective pixels of such masks are pseudo-labeled and afterwards used for re-training the DNN, i.e., without the use of ground truth generated by humans. In our experiments we demonstrate that, without access to ground truth and even with few data, a DNN's class space can be extended by a novel class, achieving considerable segmentation accuracy.

研究动机与目标

• 解决深度神经网络（DNN）在开放世界设置下的局限性，即必须检测并学习此前未见过的物体类别。
• 实现在无真实标注访问情况下的无监督增量学习新语义类别。
• 开发一种通过分割质量估计识别未知物体，并基于视觉相似性对它们进行聚类的方法。
• 通过使用自动生成的伪标签对新类别进行DNN微调，同时保持对已知类别的性能。

提出的方法

• 使用元回归器基于熵、置信度间隔和变异系数等指标，估计每个连通组件的分割质量，而无需真实标注。
• 根据质量阈值将低质量分割区域聚合为可疑物体（潜在的新类别实例）。
• 提取可疑物体的图像块，并通过预训练CNN（如DenseNet201、ResNet18）编码以获得特征嵌入。
• 对特征进行降维（例如降至2D），以支持基于视觉相似性的无监督聚类（如DBSCAN）。
• 为每个聚类分配一个伪标签，并使用这些伪标签像素更新分割模型以实现增量学习。
• 使用扩展数据集（包含原始类别和新发现类别）重新训练DNN，且无需人工标注数据。

实验结果

研究问题

• RQ1 深度神经网络是否能在无人工标注数据的情况下，在开放世界设置中检测并学习新物体类别？
• RQ2 分割质量估计在识别属于未知或新物体的像素方面有多有效？
• RQ3 基于视觉特征对低质量分割区域进行聚类，在多大程度上能实现对新语义类别的准确发现？
• RQ4 所提方法在增量学习过程中如何保持对先前已知类别的性能？
• RQ5 不同特征提取器对新类别发现性能和分割精度有何影响？

主要发现

• 当使用DenseNet201作为特征提取器，将DeepLabV3+模型扩展至新类别“human”时，该方法在Cityscapes数据集上实现了73.99 ± 0.38的平均IoU。
• 该方法在已知类别上表现出高度稳定性，各次运行中已知类别的平均IoU标准差低于1.20%。
• 在一次实验中，新类别IoU的最高标准差为4.80%，仍处于可接受的稳健性范围内。
• 基于聚类的低质量分割区域的伪标签化，可实现有效的增量学习，即使在数据有限且无人工标注的情况下亦然。
• 该方法成功检测并分割了真实场景中的新物体，如电动滑板车或船拖车，经Cityscapes和A2D2数据集验证。
• 模块化设计支持组件（尤其是特征提取器）的互换，且性能无显著下降，如ResNet18、ResNet152和DenseNet201之间结果相当。