[论文解读] Application of Decision Rules for Handling Class Imbalance in Semantic Segmentation

Robin Chan, Matthias Rottmann+3 more|arXiv (Cornell University)|Jan 24, 2019

Anomaly Detection Techniques and Applications参考文献 19被引用 38

一句话总结

该论文比较Bayes (MAP) 和 Maximum Likelihood 决策规则在像素级语义分割上的应用，针对一个不平衡的街景数据集，结果显示ML提高了罕见类别的召回率，但增加了误报并降低了总体 mIoU。

ABSTRACT

As part of autonomous car driving systems, semantic segmentation is an essential component to obtain a full understanding of the car's environment. One difficulty, that occurs while training neural networks for this purpose, is class imbalance of training data. Consequently, a neural network trained on unbalanced data in combination with maximum a-posteriori classification may easily ignore classes that are rare in terms of their frequency in the dataset. However, these classes are often of highest interest. We approach such potential misclassifications by weighting the posterior class probabilities with the prior class probabilities which in our case are the inverse frequencies of the corresponding classes in the training dataset. More precisely, we adopt a localized method by computing the priors pixel-wise such that the impact can be analyzed at pixel level as well. In our experiments, we train one network from scratch using a proprietary dataset containing 20,000 annotated frames of video sequences recorded from street scenes. The evaluation on our test set shows an increase of average recall with regard to instances of pedestrians and info signs by $25\%$ and $23.4\%$, respectively. In addition, we significantly reduce the non-detection rate for instances of the same classes by $61\%$ and $38\%$.

研究动机与目标

• 动机：在自动驾驶的语义分割任务中处理极端类别不平衡。
• 研究像素级先验作为类别先验的定位。
• 在推断阶段对一个专有的、不平衡数据集评估 ML 与 Bayes 决策规则。
• 分析罕见类与常见类的精度、召回和 IoU。
• 提供将两种决策规则结合或利用以应对不确定性与主动学习的见解。

提出的方法

• 使用从训练集中计算得到的像素级先验在推断阶段偏置 ML 决策规则，而不改变训练。
• 在基于 FRRN 的语义分割上对像素级比较 Bayes (MAP) 与 Maximum Likelihood 决策规则。
• 使用高斯滤波平滑先验并应用下界以避免除以零。
• 在 200 张测试图像、12 个类别上使用 mIoU、Precision、Recall 与 IoU 指标进行评估。
• 在推断阶段使用蒙特卡洛 dropout 来稳定 ML 预测并对连通组件进行后处理。

实验结果

研究问题

• RQ1 在推断阶段用 ML 替代 Bayes 是否能改进对罕见类别（如 PERSON、INFO SIGN）在不平衡街景数据集中的检测？
• RQ2 使用 ML 时，罕见类别召回率的提升与整体分割质量（mIoU）之间的权衡是什么？
• RQ3 本地化的像素级先验是否能缓解误分，并且 ML 如何与标准 Bayes 预测相互作用？
• RQ4 Bayes 和 ML 的混合使用如何揭示不确定性以及潜在的主动学习机会？

主要发现

• 与 Bayes 相比，ML 提高了对罕见类别（如 PERSON 和 INFO SIGN）的召回率。
• 在测试集上总体 mIoU，Bayes 高于 ML（Bayes 68.8 vs ML 63.6）。
• ML 对罕见类别产生更多误阳性，导致精度低于 Bayes（例如 PERSON：Bayes 61.1 vs ML 37.4；INFO：Bayes 67.6 vs ML 36.9）。
• ML 降低了罕见类别的漏检率（例如 PERSON：Bayes 漏检约 36% 的真实目标 vs ML 约 17%）。
• Bayes 提供更高的精度，而 ML 对罕见类别提供更高的召回；将两者结合可能产生稳健的不确定性掩码并引导主动学习。