[论文解读] ConsInstancy: Learning Instance Representations for Semi-Supervised Panoptic Segmentation of Concrete Aggregate Particles

Max Coenen, Tobias Schack+3 more|arXiv (Cornell University)|Apr 10, 2022

Infrastructure Maintenance and Monitoring参考文献 24被引用 17

一句话总结

本文提出 ConsInstancy，一种用于混凝土骨料颗粒全景分割的半监督学习框架，采用新颖的实例表征——3D 方向图与互补距离变换图——通过全卷积网络的一次前向传播进行预测。通过在未标注数据上强制预测的实例表征与语义分割之间保持一致性，该方法显著提升性能，在两个具有挑战性的数据集上（包括一个全新的新鲜混凝土数据集）实现最高达 5% 的总体准确率提升，优于完全监督训练，并较当前最优的半监督方法提升最高达 1.5%。

ABSTRACT

We present a semi-supervised method for panoptic segmentation based on ConsInstancy regularisation, a novel strategy for semi-supervised learning. It leverages completely unlabelled data by enforcing consistency between predicted instance representations and semantic segmentations during training in order to improve the segmentation performance. To this end, we also propose new types of instance representations that can be predicted by one simple forward path through a fully convolutional network (FCN), delivering a convenient and simple-to-train framework for panoptic segmentation. More specifically, we propose the prediction of a three-dimensional instance orientation map as intermediate representation and two complementary distance transform maps as final representation, providing unique instance representations for a panoptic segmentation. We test our method on two challenging data sets of both, hardened and fresh concrete, the latter being proposed by the authors in this paper demonstrating the effectiveness of our approach, outperforming the results achieved by state-of-the-art methods for semi-supervised segmentation. In particular, we are able to show that by leveraging completely unlabeled data in our semi-supervised approach the achieved overall accuracy (OA) is increased by up to 5% compared to an entirely supervised training using only labeled data. Furthermore, we exceed the OA achieved by state-of-the-art semi-supervised methods by up to 1.5%.

研究动机与目标

• 为解决混凝土图像中实例感知分割的高标注成本问题，特别是针对密集且细小的颗粒。
• 通过半监督方式利用大量未标注数据，在有限标注数据下提升全景分割性能。
• 引入新型可学习实例表征，实现端到端训练，仅需一次前向传播。
• 在硬化混凝土与新鲜混凝土数据集（包括一个全新的新鲜混凝土数据集）上验证方法的有效性。
• 在混凝土骨料的全景分割任务中，超越现有半监督与完全监督的最先进方法。

提出的方法

• 提出 3D 实例方向图作为中间表征，用于编码空间实例结构。
• 引入两种互补的距离变换图（Iδ+ 和 Iδ−）作为最终的实例表征，用于唯一标识实例。
• 采用多任务全卷积网络（FCN），共享编码器并为语义与实例表征分别设置独立解码器。
• 应用 ConsInstancy 正则化，在训练过程中强制未标注数据上预测的实例表征与语义分割之间保持一致性。
• 使用一致性损失，将预测的实例图与语义分割输出对齐，提升泛化能力。
• 利用标注数据进行监督训练，同时利用未标注数据进行一致性正则化，降低对标注数据的依赖。

实验结果

研究问题

• RQ1 新颖的实例表征是否能实现在单次前向传播中高效且有效的全景分割？
• RQ2 ConsInstancy 正则化在利用未标注数据提升全景分割性能方面有多高效？
• RQ3 所提方法是否能在混凝土骨料分割任务中超越当前最优的半监督与完全监督方法？
• RQ4 该方法是否能泛化到具有挑战性的数据分布，如边界模糊的新鲜混凝土？
• RQ5 半监督学习在多大程度上减少了混凝土图像中昂贵的实例级标注需求？

主要发现

• 与仅使用标注数据的完全监督训练相比，ConsInstancy 方法在总体准确率（OA）上提升了 5%。
• 在沉降数据集上，该方法使实例分割的平均 F1 分数提升 2.6%，语义分割的平均 F1 分数提升 1.9%。
• 在新鲜混凝土数据集上，ConsInstancy 变体实现 PQ 得分为 39.0%，F inst1 得分为 52.6%，分别优于最佳监督基线 8.0% 和 9.4%。
• 该方法显著降低了骨料类别上的误报预测，表现为精确率显著提升。
• 在总体准确率上，该方法较当前最优的半监督方法最高提升 1.5%，尤其在新鲜混凝土数据集上表现突出。
• 定性结果表明，与监督基线相比，ConsInstancy 变体的实例边界更平滑，错误分割伪影更少。