[논문 리뷰] Ground-aware Monocular 3D Object Detection for Autonomous Driving

Yuxuan Liu, Yixuan Yuan외 1명|arXiv (Cornell University)|2021. 02. 01.

Robotics and Sensor-Based Localization참고 문헌 37인용 수 6

한 줄 요약

이 논문은 지면 평면 사전 지식을 명시적으로 활용하여 깊이 및 3D 위치 추정 정확도를 향상시키는 지면 인식 단안 3D 객체 검출 프레임워크를 제안한다. 지면에서 멀리 떨어진 3D 앵커를 억제하기 위한 앵커 필터링과 하향 방향으로 향하는 수신장이 강조된 지면 인식 컨볼루션 모듈을 도입하여 KITTI 3D 검출 및 깊이 예측 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Estimating the 3D position and orientation of objects in the environment with a single RGB camera is a critical and challenging task for low-cost urban autonomous driving and mobile robots. Most of the existing algorithms are based on the geometric constraints in 2D-3D correspondence, which stems from generic 6D object pose estimation. We first identify how the ground plane provides additional clues in depth reasoning in 3D detection in driving scenes. Based on this observation, we then improve the processing of 3D anchors and introduce a novel neural network module to fully utilize such application-specific priors in the framework of deep learning. Finally, we introduce an efficient neural network embedded with the proposed module for 3D object detection. We further verify the power of the proposed module with a neural network designed for monocular depth prediction. The two proposed networks achieve state-of-the-art performances on the KITTI 3D object detection and depth prediction benchmarks, respectively. The code will be published in https://www.github.com/Owen-Liuyuxuan/visualDet3D

연구 동기 및 목표

• 표준 2D-3D 대응 방법에서 자주 忽시되는 지면 평면 사전 지식을 활용하여 자율주행 환경에서 단안 3D 객체 검출 성능을 향상시키기 위해.
• 단안 3D 검출의 불완전한 성질을 해결하기 위해 지면 평면에서 유도된 기하학적 제약 조건을 딥 러닝 모델에 명시적인 인덕티브 바이어스로 통합하기 위해.
• 객체와 지면 평면 간의 접촉점에 대해 명시적으로 추론할 수 있도록 설계된 네트워크를 통해 깊이 추론 및 3D 위치 추정 정확도를 향상시키기 위해.
• 경량적이고 단단계 추론 프레임워크를 사용하여 KITTI 3D 객체 검출 및 단안 깊이 예측 벤치마크에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 학습 및 추론 중 지면 평면에서 멀리 떨어진 3D 앵커를 제거하는 앵커 필터링 기법을 도입하여 네트워크의 탐색 공간을 줄이고 타당한 객체 위치에 집중시킨다.
• 각 픽셀에 대한 사전 깊이 값을 인코딩하고, 각 특징 점 아래의 픽셀에서 특징 집합을 유도하는 지면 인식 컨볼루션 모듈을 설계하여 하향 방향으로 향하는 수신장을 가능하게 한다.
• 카메라 파라미터와 투시 기하학을 사용하여 2D 앵커를 3D 공간으로 역투영함으로써 네트워크가 객체-지면 접촉점에 대해 추론할 수 있도록 한다.
• 지면 인식 컨볼루션 모듈을 단단계 검출기와 U-Net 기반 깊이 예측 네트워크에 통합하여 양쪽 모두가 지면 평면 사전 지식의 이점을 얻을 수 있도록 한다.
• 모듈을 미분 가능하게 적용하여 표준 백프로파게이션 및 최적화를 통한 엔드 투 엔드 학습이 가능하도록 한다.
• 검출기와 깊이 예측이 동시에 수행되는 다중 작업 학습 설정을 적용하며, 지면 인식 모듈이 양 작업의 특징 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 명시적인 지면 평면 모델링이 자율주행 환경에서 단안 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 지면 평면에서의 거리 기반 3D 앵커 필터링이 검출 정확도와 학습 효율성에 어떤 영향을 미치는가?
• RQ3 신경망이 기하학적 사전 지식과 구조화된 수신장을 통해 객체-지면 접촉점에 대해 얼마나 잘 추론할 수 있는가?
• RQ4 지면 인식 특징을 통합하면 단안 환경에서 깊이 예측 성능이 향상되는가?
• RQ5 기존 최신 기술 수준(SOTA) 방법과 비교해 본다면, 제안된 방법은 정확도 및 추론 속도 측면에서 어떤가?

주요 결과

• 제안된 앵커 필터링 기법은 하드 샘플(3D IoU ≥ 0.7)에서 2.24% 향상된 성능(기준 모델 12.06% → 분석 모델 11.11%)을 달성하여 분류 브랜치의 학습 부담 감소를 입증한다.
• 지면 인식 컨볼루션 모듈은 기준 모델 대비 하드 샘플(3D IoU ≥ 0.7)에서 3.08%p의 절대적 성능 향상을 달성하였으며, 하드 세트에서 mAP 22.16%를 기록한다.
• 전체 모델은 KITTI 3D 검출 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 중간 및 하드 난이도 설정 모두에서 이전의 단안 방법을 능가한다.
• 단안 깊이 예측에 적용했을 때도 지면 인식 모듈은 경쟁 가능한 성능을 기록하여, 검출 외 응용 분야로의 일반화 능력을 입증한다.
• 현대 GPU에서 약 20 FPS로 실행되어 자율주행 응용 분야에서 실시간 적용 가능성을 입증한다.
• 절단 분석 결과, 지면 인식 모듈이 탈형 변형 컨볼루션과 역치 조건 기반 컨볼루션보다 유의미한 성능 향상을 보이며, 설계된 인덕티브 바이어스의 효과성을 입증한다.