[论文解读] A Classification Refinement Strategy for Semantic Segmentation

James W. Davis, Christopher Menart+2 more|arXiv (Cornell University)|Jan 23, 2018

Advanced Neural Network Applications参考文献 12被引用 4

一句话总结

该论文提出了一种贝叶斯精炼框架，通过利用分类器混淆概率和图像特定的标签先验，纠正上下文内和上下文外的错误，从而提升语义分割性能。通过使用概率模型重新估计像素级置信度分数，该方法在基准数据集上实现了最高12.0%的像素准确率提升和25.3%的平均IoU提升，显著优于当前最先进模型。

ABSTRACT

Based on the observation that semantic segmentation errors are partially predictable, we propose a compact formulation using confusion statistics of the trained classifier to refine (re-estimate) the initial pixel label hypotheses. The proposed strategy is contingent upon computing the classifier confusion probabilities for a given dataset and estimating a relevant prior on the object classes present in the image to be classified. We provide a procedure to robustly estimate the confusion probabilities and explore multiple prior definitions. Experiments are shown comparing performances on multiple challenging datasets using different priors to improve a state-of-the-art semantic segmentation classifier. This study demonstrates the potential to significantly improve semantic labeling and motivates future work for reliable label prior estimation from images.

研究动机与目标

• 为解决语义分割模型中的系统性错误，特别是上下文内和上下文外的误分类问题。
• 开发一种无需微调的后处理精炼策略，以改进分类器的置信度估计。
• 探究不同标签先验定义对精炼性能的影响。
• 证明混淆统计量和图像特定先验可显著提升分割准确率。
• 为未来基于输入图像可靠估计先验的工作提供动机。

提出的方法

• 该方法将标签精炼建模为对 p(l|d) 的贝叶斯边缘化，将其分解为分类器输出概率和学习到的混淆概率。
• 通过最大似然方法在验证集上稳健估计混淆概率，以建模标签误分类模式。
• 以多种形式定义标签先验：二值化（存在/不存在）、基于直方图（类别频率）以及无约束（每张图像独立优化）。
• 通过混淆矩阵和先验，将每个像素的最终标签概率计算为基分类器输出与精炼后后验的加权组合。
• 该框架独立应用于每张测试图像，实现上下文感知的置信度分数重估。
• 该方法可兼容任意基线语义分割模型，并可与CRF等空间模型结合以实现进一步精炼。

实验结果

研究问题

• RQ1 分类器的混淆概率能否被有效用于精炼语义分割预测？
• RQ2 不同标签先验定义（二值化、基于直方图、无约束）如何影响精炼性能？
• RQ3 后处理在多大程度上可减少上下文内和上下文外的标注错误？
• RQ4 通过该精炼策略可实现的性能提升理论上限是多少？
• RQ5 能否从输入数据中可靠估计图像级先验，以支持实际部署？

主要发现

• 所提方法在三个基准数据集上实现了9.7–12.0%的像素准确率上限提升。
• 当使用优化后的先验时，平均交并比（mIoU）提升17.3–25.3%。
• 无约束先验 $P_{uc}(l)$ 表现最佳，相比基于直方图的先验 $P_{hist}(l)$，在像素准确率上额外提升0.9–2.3%，在mIoU上额外提升1.6–3.3%。
• 图像特定先验（$P_{binary}(l)$、$P_{hist}(l)$、$P_{uc}(l)$）显著优于全局先验（$P_{uniform}(l)$、$P_{global}(l)$），后者几乎无改善或无改善。
• 基于直方图的先验 $P_{hist}(l)$ 提供了强大的性能上限，被确定为未来先验估计方法的首要目标。
• 该方法成功减少了上下文内错误（如将沙发误分类为地板）和上下文外错误（如在户外场景中标注摩托车），证明了其广泛适用性。