[论文解读] Distantly Supervised Road Segmentation
本文提出了一种用于道路分割的远程监督方法，仅使用图像级标签训练全卷积神经网络（FCN），避免了昂贵的像素级标注。通过利用来自通用图像数据库（ImageNet、Places）的显著性图，并结合超像素，该方法生成弱像素级掩码以进行迭代FCN训练，在标注成本降低数个数量级的同时，实现了全监督模型93.8%的性能。
We present an approach for road segmentation that only requires image-level annotations at training time. We leverage distant supervision, which allows us to train our model using images that are different from the target domain. Using large publicly available image databases as distant supervisors, we develop a simple method to automatically generate weak pixel-wise road masks. These are used to iteratively train a fully convolutional neural network, which produces our final segmentation model. We evaluate our method on the Cityscapes dataset, where we compare it with a fully supervised approach. Further, we discuss the trade-off between annotation cost and performance. Overall, our distantly supervised approach achieves 93.8% of the performance of the fully supervised approach, while using orders of magnitude less annotation work.
研究动机与目标
- 降低自动驾驶系统中像素级道路分割的高标注成本。
- 实现在无需任何车辆中心图像像素级标注的情况下，训练全卷积网络（FCN）用于道路分割。
- 探索弱监督学习中标注成本与分割性能之间的权衡。
- 评估利用外部图像数据库作为弱监督信号的远程监督学习的可行性和有效性。
- 证明仅使用图像级标签的弱监督训练可实现接近全监督的性能。
提出的方法
- 该方法使用来自ImageNet和Places的图像级标签，在通用图像上训练显著性检测器，其与车辆中心的道路图像不同。
- 将预训练模型生成的显著性图应用于车辆中心图像，以生成弱且噪声较大的像素级道路掩码。
- 从车辆中心图像中提取超像素，以增强生成掩码的空间一致性。
- 利用这些弱掩码迭代训练FCN进行道路分割，通过自训练逐步提升性能。
- 该方法无需对FCN架构进行任何修改，且与标准训练流程兼容。
- 通过使用部分真实像素级标注进行微调，进一步提升了性能，达到全监督mIOU的96.5%。
实验结果
研究问题
- RQ1仅使用图像级标签，远程监督学习能否实现高性能的道路分割？
- RQ2在Cityscapes数据集上，弱监督FCN的性能与全监督基线相比如何？
- RQ3在弱监督道路分割中，标注成本与分割准确率之间存在何种权衡？
- RQ4来自通用图像数据库的显著性图能否有效迁移至车辆中心道路分割任务？
- RQ5在弱监督掩码上进行迭代训练是否能提升最终的分割准确率？
主要发现
- 该远程监督方法在Cityscapes数据集上达到了全监督基线93.8%的平均交并比（mIOU）。
- 在弱生成掩码上进行训练显著提升了分割性能，经过多次自训练迭代后，mIOU提升至0.80。
- 仅使用60%真实像素级标注对弱监督模型进行微调，即达到0.855的mIOU，几乎与全监督模型相当。
- 使用全部真实标注对最终模型进行微调后，mIOU达到0.863，超过全监督基线。
- 标注成本降低至全监督基线的1%以下，估计为约0.6小时对比65.3小时。
- 该方法表明，来自外部数据库的弱监督可有效替代昂贵的像素级标注用于道路分割。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。