[论文解读] MetaFusion: Controlled False-Negative Reduction of Minority Classes in Semantic Segmentation

Robin Chan, Matthias Rottmann+3 more|arXiv (Cornell University)|Dec 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用 7

一句话总结

MetaFusion 提出了一种后处理方法，通过结合最大似然决策规则预测与基于不确定性的误报检测的梯度提升元分类，减少了语义分割中少数类的假阴性。该方法在 Cityscapes 数据集上实现了假阳性和假阴性之间的优越权衡，优于标准决策规则和类别加权基线方法。

ABSTRACT

In semantic segmentation datasets, classes of high importance are oftentimes underrepresented, e.g., humans in street scenes. Neural networks are usually trained to reduce the overall number of errors, attaching identical loss to errors of all kinds. However, this is not necessarily aligned with human intuition. For instance, an overlooked pedestrian seems more severe than an incorrectly detected one. One possible remedy is to deploy different decision rules by introducing class priors which assigns larger weight to underrepresented classes. While reducing the false-negatives of the underrepresented class, at the same time this leads to a considerable increase of false-positive indications. In this work, we combine decision rules with methods for false-positive detection. We therefore fuse false-negative detection with uncertainty based false-positive meta classification. We present proof-of-concept results for CIFAR-10, and prove the efficiency of our method for the semantic segmentation of street scenes on the Cityscapes dataset based on predicted instances of the 'human' class. In the latter we employ an advanced false-positive detection method using uncertainty measures aggregated over instances. We thereby achieve improved trade-offs between false-negative and false-positive samples of the underrepresented classes.

研究动机与目标

• 解决少数类（尤其是街景数据集中的“person”）假阴性率高的关键问题，因为漏检可能导致致命后果。
• 克服标准损失函数对所有错误一视同仁的局限性，无法反映现实中遗漏稀有但关键物体的严重性。
• 开发一种后处理框架，在保持少数类高召回率的同时，最小化因激进阈值设定导致的假阳性激增。
• 将不确定性估计与集成元分类相结合，自动识别并移除无需微调的假阳性预测。
• 在不同架构（MobileNetV2、Xception65）和任务（语义分割、图像分类）上验证该方法的泛化能力。

提出的方法

• 应用最大似然（ML）决策规则，通过降低置信度阈值，提高对少数类（如“person”）的检测灵敏度。
• 计算每个分割区域的不确定性度量，包括 softmax 概率、熵和概率间隔，以量化预测置信度。
• 在实例级不确定性特征上训练梯度提升树分类器（GB），以区分 ML 掩码中的真正例与假正例。
• 利用 GB 模型的输出过滤 ML 掩码中高不确定性区域，用标准贝叶斯掩码的预测结果替代，以减少假阳性。
• 将不确定性特征在空间邻域和分割边界上聚合，以提升对模糊或噪声预测的检测能力。
• 利用特征重要性分析验证：邻域上下文（如人类附近存在自行车）和边界不确定性是假阳性预测的关键预测因子。

实验结果

研究问题

• RQ1 结合高召回决策规则与基于不确定性的误报检测的后处理方法，能否显著减少语义分割中少数类的假阴性？
• RQ2 与标准决策规则（如贝叶斯）和类别加权损失函数相比，所提出的 MetaFusion 框架在假阳性和假阴性之间的权衡表现如何？
• RQ3 基于不确定性的元分类在自动驾驶场景中对关键少数类（如“person”）的检测可靠性提升程度如何？
• RQ4 该方法是否能泛化到语义分割之外的其他视觉任务（如图像分类）？
• RQ5 在人体检测任务中，哪些不确定性与空间上下文特征最能预测假阳性预测？

主要发现

• MetaFusion 显著降低了“person”类别的假阳性率，同时保持高召回率，优于标准贝叶斯规则和插值决策规则。
• 在 Cityscapes 数据集上，MetaFusion 在假阳性和假阴性之间的平衡优于任何基于类别加权损失的替代方案，尤其当贝叶斯掩码与 ML 掩码之间差距较大时表现更优。
• 梯度提升元分类器能有效识别假阳性，其中邻域特征（如存在自行车）和边界不确定性被识别为假阳性的主要预测因子。
• 该方法可泛化至图像分类任务：在 CIFAR-10 上的最小版本 MetaFusion 展现了相似的性能提升，表明其具有广泛适用性。
• 用贝叶斯预测替换 ML 掩码中的假阳性预测，仅导致整体性能轻微下降，但能大幅减少危险的假阴性。
• 特征重要性分析证实，分割边界处的不确定性以及邻近类别上下文（如自行车）是假阳性预测的强指示因子。