[논문 리뷰] Inferring Spatial Uncertainty in Object Detection

Zining Wang, Di Feng외 6명|arXiv (Cornell University)|2020. 03. 07.

Advanced Neural Network Applications참고 문헌 39인용 수 7

한 줄 요약

이 논문은 LiDAR 기반 객체 검출 바운딩 박스 레이블의 공간적 불확실성을 추론하기 위한 생성 모델을 제안하며, 불확실성을 공간 분포로 표현한다. 이는 레이블 불확실성을 포함하는 확률적 IoU의 확장인 Jaccard IoU(JIoU)를 도입하여, KITTI 및 Waymo 데이터셋에서 표준 IoU에 비해 확률적 검출기의 평가 성능을 향상시킨다.

ABSTRACT

The availability of real-world datasets is the prerequisite for developing object detection methods for autonomous driving. While ambiguity exists in object labels due to error-prone annotation process or sensor observation noises, current object detection datasets only provide deterministic annotations without considering their uncertainty. This precludes an in-depth evaluation among different object detection methods, especially for those that explicitly model predictive probability. In this work, we propose a generative model to estimate bounding box label uncertainties from LiDAR point clouds, and define a new representation of the probabilistic bounding box through spatial distribution. Comprehensive experiments show that the proposed model represents uncertainties commonly seen in driving scenarios. Based on the spatial distribution, we further propose an extension of IoU, called the Jaccard IoU (JIoU), as a new evaluation metric that incorporates label uncertainty. Experiments on the KITTI and the Waymo Open Datasets show that JIoU is superior to IoU when evaluating probabilistic object detectors.

연구 동기 및 목표

• 결정론적 객체 검출 데이터셋에서의 불확실성 표현 부족 문제를 해결하기 위해, 특히 LiDAR 기반 3D 바운딩 박스 레이블에 초점을 맞춘다.
• 실세계 주행 데이터셋에서 센서 노이즈와 레이블 애매함으로 인해 발생하는 본질적 레이블 불확실성을 모델링한다.
• 2D/3D 공간에서 레이블 불확실성을 시각화하고 정량화할 수 있는 공간 분포 표현 방식을 개발한다.
• 레이블 불확실성을 고려한 새로운 평가 지표인 Jaccard IoU(JIoU)를 제안하여 확률적 객체 검출기의 공정한 평가를 가능하게 한다.
• KITTI 및 Waymo 데이터셋에서 최신 확률적 검출기들에 대해 JIoU의 불확실성 추정 품질 평가 효과성을 검증한다.

제안 방법

• LiDAR 포인트 클라우드를 기반으로 생성 모델을 훈련하여 바운딩 박스 레이블의 공간 분포를 추론함으로써, 위치, 크기, 방향의 불확실성을 포괄한다.
• 바운딩 박스 파라미터(중심, 길이, 너비, 헤딩)에 대한 다변량 정규분포로 공간 분포를 모델링하며, 비대칭 공분산을 통해 파라미터 간 상관관계를 표현한다.
• 센서 노이즈와 레이블 애매함을 사전 지식으로 통합하여, 관측된 LiDAR 포인트에 생성 모델을 적합시켜 레이블 불확실성을 추론한다.
• Jaccard IoU(JIoU)는 두 공간 분포 간의 교차율을 일반화한 것으로, 표준 IoU를 확률적 박스로 확장한다.
• 예측 및 진짜값 분포 간 JIoU 계산을 위해 몬테카를로 샘플링을 사용하여 불확실성 인식 평가를 가능하게 한다.
• 교정된 확률적 검출기(예: CalibProbPIXOR)에 온도 스케일링을 적용하여 불확실성 교정을 향상시키며, 이는 JIoU를 통해 평가된다.

실험 결과

연구 질문

• RQ1 LiDAR 기반 객체 검출 바운딩 박스 레이블의 공간적 불확실성은 어떻게 체계적으로 모델링하고 정량화할 수 있는가?
• RQ2 레이블 불확실성을 통합할 경우, 표준 IoU에 비해 확률적 객체 검출기 평가 성능는 얼마나 향상되는가?
• RQ3 IoU 점수가 유사하지만 불확실성 수준이 다를 경우, Jaccard IoU(JIoU)는 검출 품질을 효과적으로 구분할 수 있는가?
• RQ4 온도 스케일링을 통한 불확실성 교정은 확률적 검출기에서 JIoU 성능에 어떤 영향을 미치는가?
• RQ5 특히 고신뢰도 임계값에서, IoU에 비해 JIoU는 분포 불일치를 더 효과적으로 처벌하는가?

주요 결과

• JIoU 점수는 IoU와 일관되게 상관되지만, 추가로 불확실성 인식 정보를 제공하여 애매한 경우 검출 품질 평가를 향상시킨다.
• 희박한 LiDAR 관측(예: 객체 뒷면) 상황에서는 진짜값 JIoU가 이미 낮았음(예: 0.39), 이는 레이블 불확실성을 忽시할 경우 높은 IoU 점수가 오해의 소지가 있음을 시사한다.
• 동일한 IoU를 가진 두 검출 결과는 레이블 및 예측 불확실성 분포의 차이로 인해 서로 다른 JIoU 점수를 가질 수 있으며, 이는 JIoU의 더 풍부한 평가 능력을 입증한다.
• 온도 스케일링은 과신을 줄여 전체 JIoU를 향상시켰지만, 개별 샘플에선 개선을 보장하지 않았으며, 일부 검출 결과는 교정 후 JIoU가 악화된 경우가 있었다.
• 확률적 검출기(ProbPIXOR 및 CalibProbPIXOR)는 IoU 기반 임계값 설정 시 결정론적 PIXOR에 비해 일관된 재현율 향상을 보였지만, 고JIoU 임계값에서 대칭적인 불확실성 분포로 인해 성능이 급격히 떨어졌다.
• 고JIoU 임계값에서의 성능 저하 현상은 현재 대칭 분포를 가진 확률적 검출기가 레이블의 공간적 불확실성 구조를 충족하지 못함을 시사하며, 더 나은 회귀 인코딩 또는 상관 불확실성 모델링이 필요함을 강조한다.