[논문 리뷰] Ground Plane Matters: Picking Up Ground Plane Prior in Monocular 3D Object Detection

Fan Yang, Xinhao Xu외 5명|arXiv (Cornell University)|2022. 11. 03.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 단안 3D 객체 검출 네트워크인 GPENet를 제안하며, 지면 접점과 수평선 추정을 활용하여 지면 평면을 정확히 모델링함으로써 투영점 위치 결정 및 지면 평면 기울기 문제를 해결한다. 동적 백프로젝션을 통해 의사 레이블링된 접점과 수평선을 사용함으로써, KITTI 및 nuScenes에서 최신 기술 수준의 성능을 달성하며, 모든 거리 범위에서 3D 경계 상자 정확도와 깊이 추정이 크게 향상된다.

ABSTRACT

The ground plane prior is a very informative geometry clue in monocular 3D object detection (M3OD). However, it has been neglected by most mainstream methods. In this paper, we identify two key factors that limit the applicability of ground plane prior: the projection point localization issue and the ground plane tilt issue. To pick up the ground plane prior for M3OD, we propose a Ground Plane Enhanced Network (GPENet) which resolves both issues at one go. For the projection point localization issue, instead of using the bottom vertices or bottom center of the 3D bounding box (BBox), we leverage the object's ground contact points, which are explicit pixels in the image and easy for the neural network to detect. For the ground plane tilt problem, our GPENet estimates the horizon line in the image and derives a novel mathematical expression to accurately estimate the ground plane equation. An unsupervised vertical edge mining algorithm is also proposed to address the occlusion of the horizon line. Furthermore, we design a novel 3D bounding box deduction method based on a dynamic back projection algorithm, which could take advantage of the accurate contact points and the ground plane equation. Additionally, using only M3OD labels, contact point and horizon line pseudo labels can be easily generated with NO extra data collection and label annotation cost. Extensive experiments on the popular KITTI benchmark show that our GPENet can outperform other methods and achieve state-of-the-art performance, well demonstrating the effectiveness and the superiority of the proposed approach. Moreover, our GPENet works better than other methods in cross-dataset evaluation on the nuScenes dataset. Our code and models will be published.

연구 동기 및 목표

• 단안 3D 객체 검출(M3OD)에서 지면 평면 기하학을 충분히 활용하지 못하는 문제를 해결하기 위해, 강력한 기하학적 사전 지식을 제공하지만 자주 忽시되는 지면 평면 기하학을 활용하고자 한다.
• 모호한 3D 박스 바닥 꼭짓점 대신 명확하고 의미적으로 유의미한 지면 접점으로 바꿔 투영점 위치 결정 문제를 해결하고자 한다.
• 동적인 도로 및 자율주행 차량의 운동으로 인한 지면 평면 기울기 문제를 해결하고자 하며, 이는 고정된 지면 평면 가정을 무너뜨린다.
• 추가적인 데이터 수집 없이도 M3OD 애노테이션만으로도 의사 레이블링을 통해 접점과 수평선을 생성함으로써, 단안 검출에서만 가능한 정확한 3D 객체 위치 결정을 가능하게 하고자 한다.
• 정확한 지면 평면 기하학에 기반한 동적 백프로젝션 방법을 통해 3D 경계 상자 회귀 및 깊이 추정의 정확도를 향상시키고자 한다.

제안 방법

• 지면 접점을 명시적인 2D 감독 신호로 도입하여, 3D 박스 바닥 꼭짓점보다 더 의미적으로 일관되고 더 쉽게 국소화할 수 있도록 한다.
• 새로운 비지도 수직 에지 마이닝 알고리즘을 사용하여 영상 내 수평선을 추정함으로써, 가림 상황에서도 강건성을 향상시킨다.
• 수평선 추정 결과와 카메라 파라미터를 기반으로 수학적 공식을 도출하여 지면 평면 방정식을 유도함으로써, 지면 평면 기울기의 동적 모델링을 가능하게 한다.
• 추정된 지면 평면과 접점을 활용한 동적 백프로젝션 알고리즘을 통해 3D 객체 위치를 재구성함으로써 공간 정확도를 향상시킨다.
• M3OD 애노테이션에서 자동으로 접점과 수평선에 대한 의사 레이블을 생성함으로써, 추가 애노테이션 수집이 필요 없도록 한다.
• 이러한 구성 요소들을 통합한 GPENet라는 단일 네트워크로 통합하고, 표준 M3OD 감독 신호를 사용해 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 지면 접점을 3D 박스 바닥 꼭짓점보다 더 신뢰성 있고 의미적으로 의미 있는 기준으로 사용할 수 있는가?
• RQ2 수평선 추정은 동적인 자율주행 환경에서 지면 평면 기울기 모델링에 얼마나 기여하는가?
• RQ3 추가 애노테이션 없이도 정확한 지면 평면 기하학을 활용하여 3D 경계 상자 회귀 및 깊이 추정을 향상시킬 수 있는가?
• RQ4 제안된 방법은 데이터셋 간에 어떻게 일반화되는가? 특히 KITTI에서 훈련하고 nuScenes에서 테스트할 경우 어떻게 되는가?
• RQ5 비지도 수직 에지 마이닝 기법이 가림 상황에서 수평선 검출의 강건성에 어떤 영향을 미치는가?

주요 결과

• GPENet는 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 차량 카테고리의 중간 수준에서 17.35%의 AP40 성능을 기록하여 이전 방법들을 크게 앞서 간다.
• nuScenes 데이터셋에서 GPENet는 [0,20) 거리 범위에서 깊이 예측 평균 오차를 0.72m로 줄여 모든 기준 모델을 압도한다.
• 지면 접점을 투영점으로 사용함으로써 중간 수준의 차량 카테고리에서 AP40가 8.70%에서 17.35%로 8.65%포인트 향상되었다.
• 비지도 수직 에지 마이닝 기법을 통해 장애물에 의해 수평선이 심하게 가려져 있어도 강건한 수평선 검출이 가능해졌다.
• 정확한 접점과 지면 평면 추정에 기반한 동적 백프로젝션 방법은 특히 먼 거리에 있는 객체에 대해 더 정확한 3D 경계 상자를 제공한다.
• 다른 데이터셋 간 평가 결과, GPENet의 강력한 일반화 능력이 확인되었으며, KITTI 및 nuScenes 검증 세트에서 일관된 성능 향상이 이루어졌다.