[논문 리뷰] Evaluating Uncertainty Estimation Methods on 3D Semantic Segmentation of Point Clouds

Swaroop Bhandary K, Nico Hochgeschwender외 3명|arXiv (Cornell University)|2020. 07. 03.

3D Shape Modeling and Analysis참고 문헌 12인용 수 7

한 줄 요약

이 논문은 3D 포인트 클라우드의 의미적 세그멘테이션을 위한 DarkNet21Seg 모델에서 세 가지 불확실성 정량화 방법—딥 앙상블, MC-Dropout, MC-DropConnect—을 평가한다. 딥 앙상블은 mIOU에서 2.4% 향상되고 정확도에서 1.3% 향상되며 더 신뢰할 수 있는 불확실성 추정을 제공함으로써 안전이 중요한 로봇 응용 분야에 특히 적합하다.

ABSTRACT

Deep learning models are extensively used in various safety critical applications. Hence these models along with being accurate need to be highly reliable. One way of achieving this is by quantifying uncertainty. Bayesian methods for UQ have been extensively studied for Deep Learning models applied on images but have been less explored for 3D modalities such as point clouds often used for Robots and Autonomous Systems. In this work, we evaluate three uncertainty quantification methods namely Deep Ensembles, MC-Dropout and MC-DropConnect on the DarkNet21Seg 3D semantic segmentation model and comprehensively analyze the impact of various parameters such as number of models in ensembles or forward passes, and drop probability values, on task performance and uncertainty estimate quality. We find that Deep Ensembles outperforms other methods in both performance and uncertainty metrics. Deep ensembles outperform other methods by a margin of 2.4% in terms of mIOU, 1.3% in terms of accuracy, while providing reliable uncertainty for decision making.

연구 동기 및 목표

• 안전이 중요한 로봇 응용 분야를 위한 3D 의미적 세그멘테이션에서의 불확실성 추정 방법 평가.
• 앙상블 크기, 전방향 통과 수, 드롭아웃 확률과 같은 핵심 초모델 하이퍼파라미터가 불확실성 품질과 모델 성능에 미치는 영향 평가.
• 포인트 클라우드 데이터에서 높은 세그멘테이션 정확도를 유지하면서도 가장 신뢰할 수 있는 불확실성 추정을 제공하는 불확실성 추정 방법 규명.
• 클래스 경계 및 낮은 포인트 밀도 영역과 같은 어려운 영역에서의 불확실성 패턴 분석.
• 신뢰할 수 있는 불확실성이 핵심인 실세계 자율 시스템에서 딥 앙상블의 적합성을 위한 경험적 증거 제공.

제안 방법

• 3D 포인트 클라우드의 의미적 세그멘테이션을 위해 잔차 인코더와 디코더를 갖춘 U-Net 기반 아키텍처인 DarkNet21Seg 모델을 사용.
• 세 가지 불확실성 추정 기법 적용: 딥 앙상블(독립적으로 훈련된 다수의 모델), MC-Dropout(추론 시 확률적 드롭아웃), MC-DropConnect(추론 시 확률적 가중치 드롭아웃).
• 모델의 입력으로 쓸 수 있도록 3D 포인트 클라우드를 2D 유사 표현으로 변환하기 위해 구면 투영을 사용.
• SemanticKITTI 데이터셋의 클래스 불균형을 보완하기 위해 가중치가 부여된 교차 엔트로피 손실을 사용해 모델을 훈련.
• 다중 전방향 통과 동안 예측 분포의 엔트로피를 통해 불확실성 평가하며, 포인트 클라우드의 각 포인트에 대해 불확실성 시각화.
• SemanticKITTI 시퀀스 08에서 검증하며, 성능 지표로 mIOU와 정확도를 사용하고, 핵심 평가 신호로 엔트로피 기반 불확실성 사용.

실험 결과

연구 질문

• RQ1 딥 앙상블, MC-Dropout, MC-DropConnect는 3D 포인트 클라우드에서 세그멘테이션 정확도와 불확실성 추정 품질 측면에서 어떻게 비교되는가?
• RQ2 앙상블 크기와 전방향 통과 수가 불확실성 추정의 신뢰성과 모델 성능에 어떤 영향을 미치는가?
• RQ3 다양한 드롭아웃 확률은 MC-Dropout 및 MC-DropConnect에서 불확실성 추정과 세그멘테이션 정확도에 어떻게 영향을 미치는가?
• RQ4 포인트 클라우드의 어떤 영역(예: 클래스 경계, 저밀도 영역)에서 불확실성 추정이 모델의 불확실성을 가장 효과적으로 식별하는가?
• RQ5 안전이 중요한 자율 시스템의 의사결정에서 가장 신뢰할 수 있는 불확실성을 제공하는 불확실성 추정 방법은 무엇인가?

주요 결과

• 딥 앙상블은 최고의 mIOU 0.885를 기록하여 MC-Dropout(0.847)와 MC-DropConnect(0.840)보다 2.4% 높게 기록.
• 딥 앙상블은 정확도 0.906을 기록하여 MC-Dropout(0.877)와 MC-DropConnect(0.871)보다 1.3% 높게 기록.
• 딥 앙상블의 불확실성 추정은 특히 보도와 차량 사이 또는 식생과 건물 사이와 같은 모호한 영역에서 모델의 자신감과 강한 상관관계를 보였다.
• 작은 물체(자전거 기사, 오토바이)와 같은 낮은 포인트 밀도 영역에서는 모든 방법에서 높은 불확실성 나타내어 국소 정보에 민감함을 시사.
• MC-DropConnect는 특히 희귀하거나 변동성이 큰 클래스인 '기타 차량'과 '자전거 기사'에서 높은 불확실성 분산을 보였지만, 전체 성능은 낮았다.
• 시각화 결과 모든 방법이 클래스 경계에서 불확실성을 증가시키는 것으로 확인되었지만, 딥 앙상블이 가장 일관되고 공간적으로 조화로운 불확실성 맵을 생성했다.