[논문 리뷰] MonoJSG: Joint Semantic and Geometric Cost Volume for Monocular 3D Object Detection

Qing Lian, Peiliang Li외 1명|arXiv (Cornell University)|2022. 03. 16.

Advanced Vision and Imaging인용 수 4

한 줄 요약

MonoJSG는 단일 뷰 3D 객체 검출을 위한 통합된 의미론적 및 기하학적 비용 볼륨을 제안하며, 픽셀 수준의 시각적 힌트를 사용하여 깊이 예측을 정교화한다. 정규화된 3D 객체 좌표를 영상 공간으로 투영하고, 적응형 4차원 비용 볼륨에서 기하학적 오차와 의미론적 오차를 동시에 모델링함으로써, 실시간 추론을 가능하게 하면서 KITTI 및 Waymo 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Due to the inherent ill-posed nature of 2D-3D projection, monocular 3D object detection lacks accurate depth recovery ability. Although the deep neural network (DNN) enables monocular depth-sensing from high-level learned features, the pixel-level cues are usually omitted due to the deep convolution mechanism. To benefit from both the powerful feature representation in DNN and pixel-level geometric constraints, we reformulate the monocular object depth estimation as a progressive refinement problem and propose a joint semantic and geometric cost volume to model the depth error. Specifically, we first leverage neural networks to learn the object position, dimension, and dense normalized 3D object coordinates. Based on the object depth, the dense coordinates patch together with the corresponding object features is reprojected to the image space to build a cost volume in a joint semantic and geometric error manner. The final depth is obtained by feeding the cost volume to a refinement network, where the distribution of semantic and geometric error is regularized by direct depth supervision. Through effectively mitigating depth error by the refinement framework, we achieve state-of-the-art results on both the KITTI and Waymo datasets.

연구 동기 및 목표

• 2D-3D 깊이 복원의 모호성으로 인한 단일 뷰 3D 객체 검출의 불완전한 성질을 해결한다.
• 희소 2D 힌트나 간접적 깊이 감독에 의존하는 기존 방법의 한계를 극복한다.
• 더 정확한 깊이 예측을 위해 고해상도 픽셀 수준의 시각적 힌트(기하학적 및 의미론적)를 활용한다.
• 최종 깊이 예측의 정교화를 위한 특징의 분류 능력을 향상시키기 위해 종단 간 깊이 감독을 통합한다.
• 실시간 추론 능력을 유지하면서 KITTI 및 Waymo 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 딥 네트워크를 사용하여 정규화된 3D 객체 특징를 생성하기 위해 3D 객체 좌표, 치수, 요각을 추정한다.
• 초기 깊이 추정치를 사용하여 정규화된 3D 좌표를 영상 공간으로 재투영하여 픽셀 수준의 기하학적 제약 조건을 형성한다.
• 예측된 2D 픽셀 위치와 투영된 3D 좌표 간의 차이로 기하학적 오차를 측정한다.
• 원래 2D 위치와 투영된 3D 좌표 위치에서 추출한 특징을 비교하여 의미론적 오차를 계산한다.
• 후보 깊이 주변의 기하학적 오차와 의미론적 오차의 연합 분포를 모델링하는 적응형 4차원 비용 볼륨을 구성한다.
• 예측된 깊이 불확실성에 기반한 적응형 샘플링을 사용하여 비용 볼륨을 최적화하고 최종 깊이를 예측하는 정교화 네트워크를 활용한다.

실험 결과

연구 질문

• RQ1 희소 2D 키포인트 제약 조건 대비 고해상도 픽셀 수준의 시각적 힌트가 단일 뷰 3D 객체 검출에서 깊이 예측 정확도를 향상시키는가?
• RQ2 비용 볼륨 내에서 의미론적 오차와 기하학적 오차를 통합하면, 개별적으로 사용할 경우보다 깊이 정교화 성능이 향상되는가?
• RQ3 종단 간 깊이 감독이 정교화에 사용되는 특징의 분류 능력을 얼마나 향상시키는가?
• RQ4 각 제안 사례에 따라 변하는 적응형 비용 볼륨이 다양한 깊이 및 객체 크기에서 일반화 능력과 정확도를 향상시키는가?
• RQ5 제안된 방법이 KITTI 및 Waymo와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 실시간 추론을 유지하는가?

주요 결과

• KITTI 테스트 세트에서 Easy 조건에서 26.4% mAP, Moderate 조건에서 18.3% mAP를 기록하여 새로운 SOTA를 수립했다.
• Waymo 데이터셋에서 Easy 조건에서 26.4% mAP, Moderate 조건에서 18.3% mAP, Hard 조건에서 15.4% mAP를 달성하여 이전 방법을 초월했다.
• 제거 분석 결과, 정교화 모듈에서 기하학적 및 의미론적 특징을 모두 사용할 경우 기하학적 특징만 사용할 때보다 mAP가 2.1% 향상되었다.
• 비용 볼륨 내 적응형 샘플링은 균일 샘플링보다 성능이 뛰어나며, 32개의 샘플을 사용할 경우 KITTI Moderate 세트에서 mAP가 1.1% 향상되었다.
• 정성적 결과에서 더 볼록한 손실 경로와 진짜 깊이와의 더 나은 일치를 통해 깊이 오차가 크게 감소한 것으로 확인되었다.
• 학습된 의미론적 표현을 활용함으로써 텍스처가 없는 영역이나 가림 현상이 있는 경우에도 모델이 강건함을 입증했다.