[论文解读] Distance transform regression for spatially-aware deep semantic segmentation

Nicolas Audebert, Alexandre Boulch+2 more|arXiv (Cornell University)|Sep 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 52被引用 44

一句话总结

本文提出一种距离变换回归损失，作为语义分割的多任务正则化，教会网络在预测类别标签的同时预测距离地图，以获得更尖锐、连贯的分割结果。

ABSTRACT

Understanding visual scenes relies more and more on dense pixel-wise classification obtained via deep fully convolutional neural networks. However, due to the nature of the networks, predictions often suffer from blurry boundaries and ill-segmented shapes, fueling the need for post-processing. This work introduces a new semantic segmentation regularization based on the regression of a distance transform. After computing the distance transform on the label masks, we train a FCN in a multi-task setting in both discrete and continuous spaces by learning jointly classification and distance regression. This requires almost no modification of the network structure and adds a very low overhead to the training process. Learning to approximate the distance transform back-propagates spatial cues that implicitly regularizes the segmentation. We validate this technique with several architectures on various datasets, and we show significant improvements compared to competitive baselines.

研究动机与目标

• 促进基于 FCN 的语义分割在空间规则性方面的改进。
• 提出将符号距离变换（signed distance transforms）用作回归目标，以注入空间线索。
• 在尽量不改动网络结构的前提下实现端到端学习。
• 展示在包括城市、RGB-D 和航空影像等多样域上的泛化能力。

提出的方法

• 对每个类别的真实掩码计算符号距离变换（SDT），并归一化到 [-1, 1]。
• 在级联的多任务设置中训练 FCN，使其预测 SDT（回归）并执行标准分割（分类）。
• 在最终 softmax 之前，通过基于拼接的融合将预测的 SDT 与中间特征进行融合。
• 对 SDT 回归使用 L1 损失，对分类使用交叉熵损失，并用超参数 lambda 进行平衡。
• 通过 hardtanh 将 SDT 预测夹紧，使输出保持在[-1, 1]。

实验结果

研究问题

• RQ1 将 SDT 回归作为多任务目标是否能提升相对于基线的语义分割质量？
• RQ2 基于 SDT 的正则化如何与不同架构和数据集相互作用？
• RQ3 该方法对超参数设置以及对不同领域的鲁棒对齐性如何？
• RQ4 仅使用 SDT 回归是否有益，还是必须与分类结合才能获得收益？

主要发现

• 多任务 SDT 回归在多个数据集和多种架构上显著优于强基线。
• 单独的 SDT 回归并不充分；通过多任务学习将其与分类耦合可获得收益。
• 在航空和室内数据集上，该方法提升边界一致性并降低分类噪声。
• 在航空基准测试中，SDT 提升了 IoU 和建筑形状的规则性，并在各城市获得一致提升。
• 在 RGB-D 与城市场景数据集上，该方法相对于基线给出更高的总体准确率和分割质量。