[论文解读] Error Correction for Dense Semantic Image Labeling

Yu-Hui Huang, Jia Xu+3 more|arXiv (Cornell University)|Dec 11, 2017

Advanced Neural Network Applications参考文献 29被引用 6

一句话总结

本文提出了一种新颖的、端到端的、并行的后处理框架，用于密集语义图像标注，通过三个组件纠正初始分割图中的错误：LabelPropagation（利用上下文细化边界）、LabelReplacement（为错误区域生成新标签）和Fusion（通过学习到的加权方式融合结果）。该方法在PASCAL VOC 2012和HELEN人脸解析数据集上实现了最先进性能，在人脸解析任务中将平均F-measure提升了2%，且在物体边界附近优于基于CRF的优化方法。

ABSTRACT

Pixelwise semantic image labeling is an important, yet challenging, task with many applications. Typical approaches to tackle this problem involve either the training of deep networks on vast amounts of images to directly infer the labels or the use of probabilistic graphical models to jointly model the dependencies of the input (i.e. images) and output (i.e. labels). Yet, the former approaches do not capture the structure of the output labels, which is crucial for the performance of dense labeling, and the latter rely on carefully hand-designed priors that require costly parameter tuning via optimization techniques, which in turn leads to long inference times. To alleviate these restrictions, we explore how to arrive at dense semantic pixel labels given both the input image and an initial estimate of the output labels. We propose a parallel architecture that: 1) exploits the context information through a LabelPropagation network to propagate correct labels from nearby pixels to improve the object boundaries, 2) uses a LabelReplacement network to directly replace possibly erroneous, initial labels with new ones, and 3) combines the different intermediate results via a Fusion network to obtain the final per-pixel label. We experimentally validate our approach on two different datasets for the semantic segmentation and face parsing tasks respectively, where we show improvements over the state-of-the-art. We also provide both a quantitative and qualitative analysis of the generated results.

研究动机与目标

• 为解决深度学习模型在密集语义标注中常产生的边界过于平滑以及无法建模标签依赖关系的问题。
• 克服基于CRF的后处理方法效率低下且对超参数敏感的问题，这些方法依赖手工设计的势函数和缓慢的优化过程。
• 开发一种通用、高效且端到端的错误纠正框架，可应用于任意初始分割预测结果之上。
• 通过并行纠错策略，同时提升边界准确性和类别标签正确性。

提出的方法

• 该方法采用由三个子网络组成的并行架构：LabelPropagation、LabelReplacement和Fusion，三者共享相同的编码器-解码器主干网络。
• LabelPropagation网络预测二维位移场，将正确标签从邻近像素传播出去，从而增强边界清晰度。
• LabelReplacement网络直接从输入图像和初始标签图回归生成新的分割概率图，以纠正误分类区域。
• Fusion网络学习通过预测的注意力掩码组合两个分支的输出，实现传播结果与替换结果的自适应加权。
• 整个流程以多任务学习方式端到端训练，联合优化所有组件。
• 该方法作为后处理步骤应用于任意预训练的密集标注模型之上，例如DeepLab-v2或人脸解析模型。

实验结果

研究问题

• RQ1 结合标签传播与标签替换的后处理框架是否能够超越标准的基于CRF的优化方法，在密集语义分割中实现性能提升？
• RQ2 与串行或单策略方法相比，并行架构在错误纠正方面是否更有效？
• RQ3 该方法在物体分割和人脸解析任务中，能在多大程度上提升边界准确性和纠正误分类区域？
• RQ4 融合机制是否能有效平衡标签传播与替换的贡献，从而获得最优的分割结果？

主要发现

• 在PASCAL VOC 2012验证集上，所提方法相比基线模型DeepLab-v2将平均交并比（mIoU）提升了1.8%，相比使用Dense CRF后处理的DeepLab-v2提升了1.2%。
• 在HELEN人脸解析数据集上，该方法将整体F-measure从基线的83.96%提升至85.90%，相对提升1.94%。
• 在物体边界附近表现更优，体现在trimap区域（宽度1–40像素）的平均IoU高于基线模型和基于CRF的方法。
• 定性结果表明，该方法能更好地保持物体形状并提升边界锐度，尤其在眼睛、嘴巴等精细结构上表现更佳。
• 失败案例显示，当物体大部分区域初始即被错误分类时，该方法难以完全纠正大规模类别错误。