[論文レビュー] Evaluating Uncertainty Estimation Methods on 3D Semantic Segmentation of Point Clouds

Swaroop Bhandary K, Nico Hochgeschwender+3 more|arXiv (Cornell University)|Jul 3, 2020

3D Shape Modeling and Analysis参考文献 12被引用数 7

ひとこと要約

本論文は、3次元点群のセマンティックセグメンテーションのためのDarkNet21Segモデルに対して、不確実性評価手法3つ—Deep Ensembles、MC-Dropout、MC-DropConnect—を評価している。Deep EnsemblesはmIOUで2.4%、精度で1.3%優れており、より信頼性の高い不確実性推定を提供したため、安全性が重要なロボットアプリケーションに特に適している。

ABSTRACT

Deep learning models are extensively used in various safety critical applications. Hence these models along with being accurate need to be highly reliable. One way of achieving this is by quantifying uncertainty. Bayesian methods for UQ have been extensively studied for Deep Learning models applied on images but have been less explored for 3D modalities such as point clouds often used for Robots and Autonomous Systems. In this work, we evaluate three uncertainty quantification methods namely Deep Ensembles, MC-Dropout and MC-DropConnect on the DarkNet21Seg 3D semantic segmentation model and comprehensively analyze the impact of various parameters such as number of models in ensembles or forward passes, and drop probability values, on task performance and uncertainty estimate quality. We find that Deep Ensembles outperforms other methods in both performance and uncertainty metrics. Deep ensembles outperform other methods by a margin of 2.4% in terms of mIOU, 1.3% in terms of accuracy, while providing reliable uncertainty for decision making.

研究の動機と目的

• 安全性が重要なロボットアプリケーションにおける3次元セマンティックセグメンテーションにおける不確実性推定手法の評価を目的とする。
• アンサンブルサイズ、前方通し回数、ドロップアウト確率といった重要なハイパーパrameterが、不確実性の質とモデルパフォーマンスに与える影響を評価することを目的とする。
• 点群データにおいて高いセグメンテーション精度を維持しつつ、最も信頼性の高い不確実性推定を提供する不確実性推定手法を特定することを目的とする。
• 異なるオブジェクトクラスや、クラス境界や低点群密度領域といった困難な領域における不確実性のパターンを分析することを目的とする。
• 安全性が重要な実世界の自律システムにおいて、信頼性の高い不確実性が不可欠であるという根拠を提供することを目的とする。

提案手法

• 3次元点群のセマンティックセグメンテーションに適した、残差エンコーダーとデコーダーを備えたU-NetベースのDarkNet21Segモデルを採用する。
• 3つの不確実性推定技術を適用する：Deep Ensembles（独立に訓練された複数モデル）、MC-Dropout（推論時における確率的ドロップアウト）、MC-DropConnect（推論時における確率的重みドロップアウト）。
• 3次元点群を2次元に類似した表現に変換するための球面投影を用い、畳み込み層の使用を可能にする。
• SemanticKITTIデータセットにおけるクラスの不均衡に対処するため、重み付き交差エントロピー損失を用いてモデルを訓練する。
• 複数回の前方通しによる予測分布のエントロピーを用いて不確実性を評価し、点群の各点に対して不確実性を可視化する。
• 性能指標としてmIOUと精度を用い、主な評価信号としてエントロピーに基づく不確実性を用いて、SemanticKITTIのシーケンス08で検証する。

実験結果

リサーチクエスチョン

• RQ1 Deep Ensembles、MC-Dropout、MC-DropConnectは、3次元点群におけるセグメンテーション精度と不確実性推定の質において、どのように比較されるか？
• RQ2 アンサンブルサイズと前方通し回数の変更が、不確実性推定の信頼性とモデルパフォーマンスに与える影響は何か？
• RQ3 異なるドロップアウト確率は、MC-DropoutおよびMC-DropConnectにおける不確実性推定とセグメンテーション精度にどのように影響するか？
• RQ4 点群のどの領域（例えば、クラス境界や低密度領域）で不確実性推定がモデルの不確実性を最も効果的に特定するか？
• RQ5 安全性が重要な自律システムにおける意思決定のための、最も信頼性の高い不確実性を提供するのはどの不確実性推定手法か？

主な発見

• Deep Ensemblesは最高のmIOU 0.885を達成し、MC-Dropout（0.847）とMC-DropConnect（0.840）をそれぞれ2.4ポイント上回った。
• Deep Ensemblesは精度でも最高の0.906を記録し、MC-Dropout（0.877）とMC-DropConnect（0.871）を1.3ポイント上回った。
• Deep Ensemblesの不確実性推定は、特に歩道と車両の間、または植生と建物の間といった曖昧な領域で、モデルの信頼度と強い相関を示した。
• 点群密度が低い領域、例えば自転車乗りやオートバイといった小規模なオブジェクトでは、すべての手法で不確実性が高くなる傾向があり、局所的情報に敏感であることが示された。
• MC-DropConnectは、『その他の車両』や『自転車乗り』といったレアまたは多様性のあるクラスにおいて、不確実性の分散が高く、全体的なパフォーマンスは低かった。
• 可視化結果から、すべての手法がクラス境界で不確実性を増加させるが、Deep Ensemblesが最も一貫性があり空間的に整合性の高い不確実性マップを生成した。