[논문 리뷰] Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection

Yinmin Zhang, Xinzhu Ma외 5명|arXiv (Cornell University)|2021. 07. 29.

Advanced Neural Network Applications참고 문헌 43인용 수 13

한 줄 요약

이 논문은 2D/3D 예측(경계 상자 크기, 3D 치수, 객체 자세)과 깊이 사이의 투영 투영 관계를 모델링함으로써 단안 3D 객체 검출을 위한 기하학적 지도를 받은 깊이 추정 방법을 제안한다. 기하학적 제약을 깊이 표현 학습에 통합할 수 있도록 기하학적 공식을 미분 가능한 신경 모듈로 통합하여, 추가 데이터 없이 KITTI의 중간 설정에서 SOTA 대비 2.80%의 절대 AP40 향상을 달성한다.

ABSTRACT

As a crucial task of autonomous driving, 3D object detection has made great progress in recent years. However, monocular 3D object detection remains a challenging problem due to the unsatisfactory performance in depth estimation. Most existing monocular methods typically directly regress the scene depth while ignoring important relationships between the depth and various geometric elements (e.g. bounding box sizes, 3D object dimensions, and object poses). In this paper, we propose to learn geometry-guided depth estimation with projective modeling to advance monocular 3D object detection. Specifically, a principled geometry formula with projective modeling of 2D and 3D depth predictions in the monocular 3D object detection network is devised. We further implement and embed the proposed formula to enable geometry-aware deep representation learning, allowing effective 2D and 3D interactions for boosting the depth estimation. Moreover, we provide a strong baseline through addressing substantial misalignment between 2D annotation and projected boxes to ensure robust learning with the proposed geometric formula. Experiments on the KITTI dataset show that our method remarkably improves the detection performance of the state-of-the-art monocular-based method without extra data by 2.80% on the moderate test setting. The model and code will be released at https://github.com/YinminZhang/MonoGeo.

연구 동기 및 목표

• 단안 3D 객체 검출에서 정확도가 떨어지는 깊이 추정의 핵심적 한계를 해결하기 위해.
• 투영 기하학을 사용하여 시나리오의 깊이와 다수의 2D/3D 네트워크 예측(예: 경계 상자 크기, 3D 치수, 자세) 간의 기하학적 관계를 모델링하기 위해.
• 기하학적 제약을 깊은 표현 학습에 통합할 수 있도록 기하학적 제약을 포함한, 미분 가능한 엔드 투 엔드 학습이 가능한 모듈을 개발하기 위해.
• 2D 애너테이션과 3D 애너테이션에서 투영된 2D 경계 상자 간의 불일치를 완화하여 안정적인 훈련을 보장하기 위해.
• KITTI 데이터셋에서 기존 방법들을 능가하는 강력한 베이스라인을 수립하기 위해.

제안 방법

• 투영 기하학을 사용하여 3D 시나리오 깊이와 2D/3D 예측(예: 2D 경계 상자 높이, 3D 치수, 객체 자세) 간의 관계를 모델링하는 원리적인 기하학적 공식을 제안한다.
• 기하학적 공식을 특징 학습에 통합할 수 있도록 기하학적 제약을 내장한 미분 가능한 신경망 모듈을 설계하여 깊이와 기하학적 제약의 동시 최적화를 가능하게 한다.
• 검출 헤드에 기하학적 모듈을 통합하여 훈련 및 추론 중 기하학적 지도를 받은 특징 표현을 통해 깊이 예측을 안내한다.
• 2D 진짜값 애너테이션과 3D 애너테이션에서 투영된 2D 경계 상자 간의 불일치를 보정하기 위한 데이터 전처리 전략을 도입하여 감독 품질을 향상시킨다.
• 기하학적 요소의 기여도를 검증하기 위해, 기하학적 공식의 단순화된 버전(Geo-SV1/SV2)을 사용해 추론 및 분석 실험을 수행한다.
• KITTI 데이터셋에서 평가를 위해 표준 지표(AP40, SILog, sqRel)를 사용하며, 강력한 베이스라인 및 SOTA 방법과 비교한다.

실험 결과

연구 질문

• RQ1 2D/3D 치수, 자세, 깊이를 포함한 전체 기하학적 관계를 투영 기하학을 통해 모델링하면 단안 깊이 추정 성능이 크게 향상되는가?
• RQ2 신경망 아키텍처에 미분 가능한 기하학적 공식을 통합하면 직접 회귀나 부분적인 기하학적 모델링보다 더 나은 3D 검출 성능을 달성하는가?
• RQ3 제안된 방법은 특히 자주 발생하는 깊이 범위(예: 40m 이내)에서 깊이 추정 오차를 얼마나 효과적으로 줄이는가?
• RQ4 2D 애너테이션과 투영된 2D 경계 상자 간의 불일치를 보정함으로써 학습 과정의 안정성과 정확도가 얼마나 향상되는가?
• RQ5 추가 데이터나 복잡한 후처리 없이도 제안된 방법이 최신 기술 수준(SOTA)의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 KITTI 테스트 세트에서 중간 설정의 차량 카테고리에 대해 13.81%의 AP40 성능을 달성하여 이전 SOTA 방법 대비 2.80%의 절대 향상을 보였다.
• 3D 치수, 2D 경계 상자 크기, 자세를 포함한 모든 기하학적 요소를 포함한 전체 모델은 단일 구성 요소를 제외한 변형보다 우수한 성능을 보이며, 다수의 기하학적 관계를 모델링하는 것이 중요함을 확인했다.
• 특히 87%의 차량이 위치한 40m 이내의 깊이 범위에서 SILog 및 sqRel 오차가 낮아지며, 모든 깊이 범위에서 깊이 추정 성능이 크게 향상되었다.
• 추론 분석 결과, 기하학적 모델링 없이 3D 예측을 직접 사용하는 베이스라인(Baseline + 3D-CAT)은 기하학적 공식 적용 시 성능이 열등하여 제안된 공식의 가치를 입증했다.
• 불일치 보정만 적용한 베이스라인은 KITTI 검증 세트에서 13.37%의 AP40 성능을 달성하여 높은 성능을 보이며 향후 연구의 기준이 될 잠재력을 보였다.
• 기하학적 지도를 받은 표현 학습은 깊이 추정 및 3D 검출 모두에서 일관된 향상을 이끌어내며, 엔드 투 엔드 학습에서 기하학적 제약의 효과성을 검증했다.