[논문 리뷰] RTM3D: Real-time Monocular 3D Detection from Object Keypoints for Autonomous Driving

Peixuan Li, Huaici Zhao외 2명|arXiv (Cornell University)|2020. 01. 10.

Advanced Neural Network Applications참고 문헌 46인용 수 51

한 줄 요약

RTM3D는 3D 박스로부터 투사된 아홉 개의 키포인트를 예측하여 기하학적 재투영 제약을 사용해 3D 자세, 크기, 위치를 회복하는 단일 스테이지 모노큘러 3D 객체 탐지기로, 추가 감독 데이터 없이 KITTI에서 실시간 성능을 달성합니다.

ABSTRACT

In this work, we propose an efficient and accurate monocular 3D detection framework in single shot. Most successful 3D detectors take the projection constraint from the 3D bounding box to the 2D box as an important component. Four edges of a 2D box provide only four constraints and the performance deteriorates dramatically with the small error of the 2D detector. Different from these approaches, our method predicts the nine perspective keypoints of a 3D bounding box in image space, and then utilize the geometric relationship of 3D and 2D perspectives to recover the dimension, location, and orientation in 3D space. In this method, the properties of the object can be predicted stably even when the estimation of keypoints is very noisy, which enables us to obtain fast detection speed with a small architecture. Training our method only uses the 3D properties of the object without the need for external networks or supervision data. Our method is the first real-time system for monocular image 3D detection while achieves state-of-the-art performance on the KITTI benchmark. Code will be released at https://github.com/Banconxuan/RTM3D.

연구 동기 및 목표

• LiDAR나 광범위한 외부 데이터에 의존하지 않고 이미지 기반 신호로 자율주행용 실시간 모노큘러 3D 탐지를 동기화합니다.
• 투영 투영 하에서 3D 박스 추정을 키포인트 검출 및 에너지 최소화 문제로 공식화합니다.
• 추가 네트워크나 주석에 의존하지 않고 3D 키포인트 검출에 특화된 빠른 단일 스테이지 네트워크를 개발합니다.
• 지오메트릭 최적화 파이프라인을 통해 잡음 키포인트 및 작은 2D 위치 오차에 대한 강인성을 향상시킵니다.

제안 방법

• 하나의 스테이지 CNN으로 이미지에서 3D 바운딩 박스의 아홯 개의 원근 키포인트(여덟 개의 꼭짓점과 중심)를 예측합니다.
• 새로운 Keypoint Feature Pyramid Network (KFPN)를 사용하여 2D FPN에 의존하지 않고도 규모에 불변하는 다중 스케일 키포인트 응답을 생성합니다.
• SE(3)에서 카메라-포인트 재투영 오차와 차원, 깊이, 자세에 대한 선택적 사전 정보를 결합한 비선형 최소제곱 최적화로 3D 박스 추정을 공식화합니다.
• 네트워크가 예측한 사전 정보를 사용하여 기하학적 최적화를 초기화하고 g2o에서 Gauss-Newton/Levenberg-Marquardt를 사용해 빠르게 수렴하도록 합니다.
• 외부 감독 데이터 없이 키포인트 열지도에 대한 focal 손실과 차원, 깊이, 오프셋에 대한 회귀 손실로 학습합니다.
• 투영 일관성과 사전 정보를 함께 최적화하는 에너지 함수를 도입하여 정확도와 속도를 향상시킵니다.

실험 결과

연구 질문

• RQ1 단일 RGB 이미지가 단지 원근 기하학과 외부 깊이 데이터 없이도 키포인트 기반 표현으로 정확한 3D 바운딩 박스를 복원할 수 있는가?
• RQ2 하나의 스테이지, 키포인트 기반 탐지기가 기하학적 최적화 단계를 포함하여 KITTI에서 이미지 기반 3D 탐지기와 대등하게 또는 상향하는 실시간 런타임을 달성하는가?
• RQ3 선택적 사전 정보(치수, 방향, 깊이) 및 키포인트 오프셋이 3D 탐지 정확도와 추론 속도에 어떤 영향을 미치는가?

주요 결과

• 해당 방법은 RGB 이미지 만으로 KITTI에서 실시간 성능을 달성합니다.
• 아홉 개의 2D 키포인트(8개의 3D 박스 꼭짓점과 중심)를 예측하면 3D 속성을 복원하는 데 충분한 18개의 기하학적 제약이 생성됩니다.
• KFPN과 기하학적 재투영 에너지 함수를 포함한 단일 스테이지 키포인트 네트워크는 유사한 속도에서 AP3D와 APBEV에서 다수의 이미지 기반 방법을 능가합니다.
• 차원, 방향, 깊이 사전 정보 및 키포인트 오프셋을 도입하면 정확도가 향상되고 최적화를 위한 초기화가 좋으므로 추론 속도가 빠르게 유지됩니다.
• KFPN은 Easy/Moderate/Hard에서 3D AP 점수를 개선하는 동시에 런타임의 변화는 미미합니다.
• 스테레오/LiDAR 기반 접근법과 비교할 때 RTM3D는 모노큘러 방법 중 현저히 높은 속도에서 경쟁력 있는 3D 탐지 정확도를 제공합니다.