[论文解读] Evaluating Uncertainty Estimation Methods on 3D Semantic Segmentation of Point Clouds

Swaroop Bhandary K, Nico Hochgeschwender+3 more|arXiv (Cornell University)|Jul 3, 2020

3D Shape Modeling and Analysis参考文献 12被引用 7

一句话总结

本文在点云3D语义分割任务中评估了三种不确定性量化方法——Deep Ensembles、MC-Dropout 和 MC-DropConnect，针对 DarkNet21Seg 模型进行实验。Deep Ensembles 在 mIOU 上领先其他方法 2.4%，在准确率上领先 1.3%，同时提供了更可靠的不确定性估计，因此特别适用于安全关键型机器人应用。

ABSTRACT

Deep learning models are extensively used in various safety critical applications. Hence these models along with being accurate need to be highly reliable. One way of achieving this is by quantifying uncertainty. Bayesian methods for UQ have been extensively studied for Deep Learning models applied on images but have been less explored for 3D modalities such as point clouds often used for Robots and Autonomous Systems. In this work, we evaluate three uncertainty quantification methods namely Deep Ensembles, MC-Dropout and MC-DropConnect on the DarkNet21Seg 3D semantic segmentation model and comprehensively analyze the impact of various parameters such as number of models in ensembles or forward passes, and drop probability values, on task performance and uncertainty estimate quality. We find that Deep Ensembles outperforms other methods in both performance and uncertainty metrics. Deep ensembles outperform other methods by a margin of 2.4% in terms of mIOU, 1.3% in terms of accuracy, while providing reliable uncertainty for decision making.

研究动机与目标

• 评估安全关键型机器人应用中 3D 语义分割的不确定性估计方法。
• 评估关键超参数（如集成规模、前向传播次数和丢弃概率）对不确定性质量与模型性能的影响。
• 确定哪种不确定性估计方法在保持高点云分割准确率的同时，能提供最可靠的不确定性估计。
• 分析不同物体类别及挑战区域（如类别边界和低点云密度区域）中的不确定性模式。
• 为实际自动驾驶系统中可靠性不确定性的重要性提供实证依据。

提出的方法

• 采用 DarkNet21Seg 模型，一种基于 U-Net 的架构，包含残差编码器与解码器，用于点云的 3D 语义分割。
• 应用三种不确定性估计技术：Deep Ensembles（多个独立训练的模型）、MC-Dropout（推理时引入随机丢弃）、MC-DropConnect（推理时引入随机权重丢弃）。
• 使用球面投影将 3D 点云转换为类似 2D 的表示形式，以适配卷积层的输入要求。
• 采用加权交叉熵损失函数进行训练，以缓解 SemanticKITTI 数据集中类别不平衡的问题。
• 通过多次前向传播中预测分布的熵来评估不确定性，不确定性以点云上每个点的可视化形式呈现。
• 在 SemanticKITTI 序列 08 上进行验证，使用 mIOU 和准确率作为性能指标，以基于熵的不确定性作为核心评估信号。

实验结果

研究问题

• RQ1 在 3D 点云上，Deep Ensembles、MC-Dropout 和 MC-DropConnect 在分割准确率与不确定性估计质量方面如何比较？
• RQ2 集成规模与前向传播次数对不确定性估计可靠性与模型性能有何影响？
• RQ3 不同的丢弃概率如何影响 MC-Dropout 与 MC-DropConnect 中的不确定性估计与分割准确率？
• RQ4 在点云的哪些区域（如类别边界、低密度区域）中，不确定性估计最能有效识别模型的不确定性？
• RQ5 在安全关键型自动驾驶系统中，哪种不确定性估计方法能为决策提供最可靠的不确定性？

主要发现

• Deep Ensembles 达到了最高的 mIOU（0.885），比 MC-Dropout（0.847）和 MC-DropConnect（0.840）高出 2.4 个百分点。
• Deep Ensembles 同样取得了最高的准确率（0.906），比 MC-Dropout（0.877）和 MC-DropConnect（0.871）高出 1.3 个百分点。
• Deep Ensembles 的不确定性估计与模型置信度表现出强相关性，尤其在模糊区域（如人行道与汽车之间、植被与建筑物之间）表现明显。
• 低点云密度区域（如小型物体：骑行人、摩托车）在所有方法中均表现出更高的不确定性，表明对局部信息敏感。
• MC-DropConnect 在各类别中表现出更高的不确定性方差，尤其在稀有或变化较大的类别（如“其他车辆”和“骑行人”）中，但整体性能较低。
• 可视化结果表明，所有方法均在类别边界处提高了不确定性，但 Deep Ensembles 产生的不确定性图最为一致且具有良好的空间连贯性。