[论文解读] Can Ground Truth Label Propagation from Video help Semantic Segmentation?

Siva Karthik Mustikovela, Michael Ying Yang+1 more|arXiv (Cornell University)|Oct 3, 2016

Advanced Neural Network Applications参考文献 33被引用 5

一句话总结

本文提出通过使用基于CRF的线索整合方法，将单个标注视频帧的标签传播至后续帧，生成伪真值（PGT）以提升语义分割性能。通过同时使用真实真值（GT）和多样化、高质量的PGT数据进行全卷积网络（FCN）训练——尤其当PGT数量为真实真值的数倍且赋予较低信任度时，CamVid数据集上的IoU准确率提升了2.7%，表明噪声但多样化的PGT可有效增强训练数据，并减轻人工标注负担。

ABSTRACT

For state-of-the-art semantic segmentation task, training convolutional neural networks (CNNs) requires dense pixelwise ground truth (GT) labeling, which is expensive and involves extensive human effort. In this work, we study the possibility of using auxiliary ground truth, so-called extit{pseudo ground truth} (PGT) to improve the performance. The PGT is obtained by propagating the labels of a GT frame to its subsequent frames in the video using a simple CRF-based, cue integration framework. Our main contribution is to demonstrate the use of noisy PGT along with GT to improve the performance of a CNN. We perform a systematic analysis to find the right kind of PGT that needs to be added along with the GT for training a CNN. In this regard, we explore three aspects of PGT which influence the learning of a CNN: i) the PGT labeling has to be of good quality; ii) the PGT images have to be different compared to the GT images; iii) the PGT has to be trusted differently than GT. We conclude that PGT which is diverse from GT images and has good quality of labeling can indeed help improve the performance of a CNN. Also, when PGT is multiple folds larger than GT, weighing down the trust on PGT helps in improving the accuracy. Finally, We show that using PGT along with GT, the performance of Fully Convolutional Network (FCN) on Camvid data is increased by $2.7\%$ on IoU accuracy. We believe such an approach can be used to train CNNs for semantic video segmentation where sequentially labeled image frames are needed. To this end, we provide recommendations for using PGT strategically for semantic segmentation and hence bypass the need for extensive human efforts in labeling.

研究动机与目标

• 探究通过视频标签传播生成的伪真值（PGT）是否能够提升语义分割性能。
• 分析PGT质量、相对于GT图像的多样性以及信任权重对CNN训练的影响。
• 为在语义分割中战略性地使用PGT（尤其是视频数据）提供实用建议。
• 通过利用自动生成的PGT，减少语义分割中昂贵的密集像素级标注需求。

提出的方法

• PGT通过基于CRF的线索整合框架，将单个标注帧的真值标签传播至后续视频帧生成。
• 该方法整合外观和运动线索，在视频序列中生成时序一致但存在噪声的PGT标签。
• 在损失函数中引入信任因子，以不同权重对待PGT样本与GT，从而在训练过程中实现可控影响。
• 实验对比了使用平衡的GT与PGT进行训练，以及使用多倍于GT数量的PGT进行训练的情况，采用不同的累积顺序（顺序累积 vs. 视觉评分累积）。
• FCN模型使用GT和PGT数据联合训练，IoU作为主要评估指标。
• 系统性地调整信任因子，以评估其对模型泛化能力和性能的影响。

实验结果

研究问题

• RQ1 与仅使用真实真值相比，使用从视频标签传播生成的伪真值（PGT）是否能提升语义分割性能？
• RQ2 PGT相对于GT的质量和多样性如何影响CNN在语义分割中的性能？
• RQ3 当PGT数据远多于GT数据时，PGT数据的最佳信任水平是什么？
• RQ4 PGT数据累积顺序（顺序累积 vs. 视觉评分累积）是否会影响模型准确率？

主要发现

• 当PGT数据在多样性上与GT图像不同且标注质量良好时，FCN在CamVid上的IoU准确率提升了2.7%。
• 当PGT样本数量为GT的数倍时，赋予PGT较低的信任因子（如0.5）可显著提升模型准确率。
• 基于图像相似性的视觉评分PGT累积方式优于顺序累积，尤其在PGT数据丰富时，因能有效减少标签歧义。
• 当PGT以低信任因子累积时，最大准确率达到51.5%，表明正确的累积顺序与信任权重设置至关重要。
• PGT数据的累积本身并不会在未进行合理选择与信任权重设置的情况下提升性能，但其在视频分割任务中具有可行性。
• 结果表明，当结合策略性信任度与多样性考量时，PGT可作为人工标注的可行替代方案，尤其适用于基于视频的语义分割任务。