[논문 리뷰] MonoRUn: Monocular 3D Object Detection by Reconstruction and Uncertainty Propagation

Hansheng Chen, Yuyao Huang외 3명|arXiv (Cornell University)|2021. 03. 23.

Advanced Neural Network Applications참고 문헌 38인용 수 9

한 줄 요약

MonoRUn은 간단한 3D 경계 상자 애너테이션을 사용하여 밀도 높은 2D-3D 대응 관계와 기하학적 정보를 자율학습 방식으로 학습하는 단일 카메라 3D 객체 검출 프레임워크를 제안한다. 불확실성 인식 재구성과 개선된 회귀 성능를 위한 새로운 강력한 KL 손실을 활용하여, 정확도 높은 예측을 달성한다. 이는 PnP를 통해 예측 불확실성을 전파하여 자세 공분산을 추정하고, 정답 3D 모델이나 키포인트 애너테이션 없이도 신뢰도 점수 부여와 강인한 국소화를 가능하게 하여 KITTI 벤치마크에서 최신 기술 수준을 달성한다.

ABSTRACT

Object localization in 3D space is a challenging aspect in monocular 3D object detection. Recent advances in 6DoF pose estimation have shown that predicting dense 2D-3D correspondence maps between image and object 3D model and then estimating object pose via Perspective-n-Point (PnP) algorithm can achieve remarkable localization accuracy. Yet these methods rely on training with ground truth of object geometry, which is difficult to acquire in real outdoor scenes. To address this issue, we propose MonoRUn, a novel detection framework that learns dense correspondences and geometry in a self-supervised manner, with simple 3D bounding box annotations. To regress the pixel-related 3D object coordinates, we employ a regional reconstruction network with uncertainty awareness. For self-supervised training, the predicted 3D coordinates are projected back to the image plane. A Robust KL loss is proposed to minimize the uncertainty-weighted reprojection error. During testing phase, we exploit the network uncertainty by propagating it through all downstream modules. More specifically, the uncertainty-driven PnP algorithm is leveraged to estimate object pose and its covariance. Extensive experiments demonstrate that our proposed approach outperforms current state-of-the-art methods on KITTI benchmark.

연구 동기 및 목표

• 정확한 3D 모델이나 키포인트 애너테이션을 확보하기 어려운 실제 주행 환경에서의 3D 객체 검출 과제를 해결하기 위해.
• 단일 카메라 3D 검출에서 정답 3D 기하학, 마스크, 또는 키포인트 감독에 의존하지 않도록 하기 위해.
• 자율학습 재구성 방식을 통해 3D 좌표 예측의 회귀 정확도와 불확실성 캘리브레이션을 향상시키기 위해.
• PnP 파이프라인을 통해 예측 불확실성을 전파하여 자세 공분산을 추정함으로써 확률적 3D 국소화를 가능하게 하기 위해.

제안 방법

• 지역 재구성 네트워크는 각 2D 객체 제안 영역 내에서 밀도 높은 3D 객체 좌표를 회귀하여 물체 공간 내 국소적인 포인트 클라우드를 형성한다.
• 자율학습은 정답 자세와 카메라 내부 파ram을 사용하여 예측된 3D 좌표를 이미지 평면으로 투영함으로써 실현되며, 재투영 오차를 최소화한다.
• 강력한 KL 손실은 예측된 가우시안 분포와 정답 딜라크 델타 분포 간의 KL 발산을 최소화하며, 불확실성 인식 가중치를 통해 회귀 안정성을 향상시킨다.
• 3D 좌표 예측의 애러티픽 불확실성은 추정되고, 이는 불확실성 주도의 PnP 알고리즘을 안내하는 데 사용되며, 저불확실성 영역에 집중한다.
• 불확실성은 PnP 모듈을 통해 전파되어 자세 공분산 행렬을 계산하며, 이는 검출 신뢰도 점수 계산에 사용된다.
• 불확실성 추정을 향상시키기 위해 잠재 벡터를 도입하였으며, 분석 결과 이는 애러티픽 불확실성 모델링에 핵심적인 역할을 한다.

실험 결과

연구 질문

• RQ1 실제 주행 환경의 단일 카메라 3D 검출에서 3D 모델이나 키포인트 애너테이션 없이도 밀도 높은 2D-3D 대응 관계를 학습할 수 있는가?
• RQ2 3D 좌표 예측의 불확실성은 어떻게 효과적으로 모델링하고, 이를 PnP 기반 자세 추정 향상에 활용할 수 있는가?
• RQ3 강력한 불확실성 인식 손실 함수, 예를 들어 강력한 KL 손실은 기존 손실 함수보다 더 나은 회귀 성능을 이끌어내는가?
• RQ4 PnP를 통해 불확실성을 전파하면 신뢰할 수 있는 자세 공분산 추정치를 얻을 수 있으며, 이를 통해 검출 신뢰도를 향상시킬 수 있는가?

주요 결과

• MonoRUn은 KITTI 벤치마크에서 31.21 mAP를 달성하여 현재 최신 기술 수준을 초월한다.
• 강력한 KL 손실은 라플라스 KL 손실 대비 mAP를 1.74 포인트 향상시켜 불확실성 인식 회귀의 중요성을 입증한다.
• 다양한 PnP를 통한 엔드 투 엔드 정련은 강력한 KL 손실로 초기화된 경우 성능이 약간 저하됨을 보여주며, 자율학습을 통한 최적화가 더 유리함을 시사한다.
• 잠재 벡터를 비활성화하면 mAP가 1.98 포인트 감소하여, 이가 애러티픽 불확실성 모델링에 핵심적인 역할을 한다는 것을 입증한다.
• 학습 분할에서 예측된 불확실성은 실제 국소화 오차와 밀접하게 일치하며, 효과적인 공분산 캘리브레이션을 검증한다.
• 검증 분할에서는 모델이 과신하는 경향이 있으나, 경험적 공분산 스케일링을 통해 성능 향상을 기대할 수 있으며, 이는 지식 기반 불확실성 캘리브레이션의 잠재적 개선 여지를 시사한다.