[논문 리뷰] Single-Shot 3D Detection of Vehicles from Monocular RGB Images via Geometry Constrained Keypoints in Real-Time

Nils Gählert, Jun-Jun Wan외 4명|arXiv (Cornell University)|2020. 06. 23.

Advanced Neural Network Applications참고 문헌 44인용 수 11

한 줄 요약

이 논문은 단일 RGB 영상에서 기하학적 제약을 가진 3D 키포인트를 회귀함으로써 실시간 단일 스포트 3D 객체 검출 방법인 3D-GCK를 제안한다. 이는 경량화된 SSD 확장 기반으로 2D 검출 결과를 3D로 변환하여, 3D 방향성 애너테이션 없이도 고해상도 이미지에서 20 FPS 이상을 달성한다.

ABSTRACT

In this paper we propose a novel 3D single-shot object detection method for detecting vehicles in monocular RGB images. Our approach lifts 2D detections to 3D space by predicting additional regression and classification parameters and hence keeping the runtime close to pure 2D object detection. The additional parameters are transformed to 3D bounding box keypoints within the network under geometric constraints. Our proposed method features a full 3D description including all three angles of rotation without supervision by any labeled ground truth data for the object's orientation, as it focuses on certain keypoints within the image plane. While our approach can be combined with any modern object detection framework with only little computational overhead, we exemplify the extension of SSD for the prediction of 3D bounding boxes. We test our approach on different datasets for autonomous driving and evaluate it using the challenging KITTI 3D Object Detection as well as the novel nuScenes Object Detection benchmarks. While we achieve competitive results on both benchmarks we outperform current state-of-the-art methods in terms of speed with more than 20 FPS for all tested datasets and image resolutions.

연구 동기 및 목표

• 제한된 깊이 정보와 실시간 제약 조건이 존재하는 단일 RGB 영상에서 3D 객체 검출 문제를 해결한다.
• 학습 시 3D 방향성 애너테이션을 요구하지 않고도 전체 3D 경계 상자 추정(모든 세 개의 회전 각도 포함)을 가능하게 한다.
• 기존 2D 객체 검출 프레임워크(예: SSD)와의 통합을 통해 계산 오버헤드를 최소화하는 방법을 개발한다.
• 실제 자율주행 시스템에 구현 가능한 고속 추론 성능을 확보한다.
• KITTI, nuScenes, A2D2, Synscapes와 같은 다양한 자율주행 벤치마크에서 경쟁 가능한 성능을 입증한다.

제안 방법

• 2D 객체 검출 백본(예: SSD)으로부터 회귀 및 분류 파라미터를 예측하여 3D 경계 상자 성질을 추정한다.
• 이미지 평면 투영에서 유도된 기하학적 제약 조건을 사용해 예측된 파라미터를 3D 키포인트로 변환한다.
• 투영 성질을 활용해 3D 방향성(롤, 피치, 요)을 지도 없는 3D 회전 레이블 없이 추론한다.
• 기하학적 제약 조건 하에서 3D 키포인트 좌표를 회귀할 수 있는 미분 가능 네트워크 헤드를 사용해 엔드 투 엔드 학습을 가능하게 한다.
• 기존 2D 검출기의 플러그인 확장으로서 3D-GCK 헤드를 통합하여 순수 2D 검출과 유사한 추론 속도를 유지한다.
• 각 데이터셋의 고유 기준에 맞게 평가 지표를 조정하여 여러 벤치마크에 적용한다.

실험 결과

연구 질문

• RQ1 3D 방향성 지도 없이도 고속 추론과 경쟁 가능한 정확도를 확보할 수 있는가?
• RQ2 이미지 평면 내 기하학적 제약 조건을 얼마나 효과적으로 활용해 3D 객체의 전체 방향성(모든 세 개의 회전 각도)을 추론할 수 있는가?
• RQ3 SSD와 같은 2D 검출기와의 통합에서 계산 오버헤드를 얼마나 최소화할 수 있는가?
• RQ4 KITTI 및 nuScenes와 같은 다양한 실세계 자율주행 벤치마크에서 제안된 방법의 성능은 어떠한가?
• RQ5 nuScenes 및 A2D2와 같은 고해상도 입력에서도 메모리나 하드웨어 최적화 없이도 실시간 성능(>20 FPS)을 유지할 수 있는가?

주요 결과

• 3D-GCK는 KITTI 3D 객체 검출 벤치마크의 중간 범주에서 3D 평균 정확도(AP) 2.52%를 기록했으며, AOS 점수는 78.44%였다.
• nuScenes 벤치마크에서 3D-GCK는 차량 클래스에 대해 11.4%의 AP를 달성하여 다양한 데이터셋에 대한 뛰어난 일반화 성능을 입증했다.
• KITTI 이미지에서 V100 GPU에서 40 FPS 이상(43 ms 추론 시간)으로 실행되었으며, 더 높은 해상도의 nuScenes 및 A2D2 입력에서는 각각 46 ms 및 43 ms의 추론 시간을 기록했다.
• nuScenes(1600×900) 및 A2D2(1920×1208)와 같은 고해상도 이미지에서도 하드웨어 최적화 없이도 20 FPS 이상을 유지했다.
• 보고된 바 중 가장 빠른 단일 영상 기반 3D 검출 프레임워크로서 뛰어난 속도-정확도 트레이드오프를 제공하며, 경쟁 가능한 검출 성능도 확보했다.
• KITTI, nuScenes, A2D2 및 Synscapes에서의 정성적 결과는 올바른 방향성과 공간 정렬을 가진 정확한 3D 경계 상자 예측을 보여주었다.