[논문 리뷰] Monocular 3D Object Detection: An Extrinsic Parameter Free Approach

Yunsong Zhou, Yuan He외 4명|arXiv (Cornell University)|2021. 06. 30.

Advanced Neural Network Applications참고 문헌 60인용 수 4

한 줄 요약

이 논문은 단일 이미지에서 퇴적점과 수평선 검출을 통해 카메라 자세를 추정함으로써 카메라 외부 파rameter 변동에 대한 민감도를 제거하는 MonoEF라는 단일 카메라 3D 객체 검출 프레임워크를 제안한다. 예측된 외부 파rameter를 가이드로 하는 학습된 특징 변환 네트워크를 사용함으로써, KITTI 3D와 nuScenes에서 최신 기술 수준의 성능을 달성하며, 기존 방법이 자세 유도 왜곡으로 실패하는 불균일한 도로에서 정확도를 크게 향상시킨다.

ABSTRACT

Monocular 3D object detection is an important task in autonomous driving. It can be easily intractable where there exists ego-car pose change w.r.t. ground plane. This is common due to the slight fluctuation of road smoothness and slope. Due to the lack of insight in industrial application, existing methods on open datasets neglect the camera pose information, which inevitably results in the detector being susceptible to camera extrinsic parameters. The perturbation of objects is very popular in most autonomous driving cases for industrial products. To this end, we propose a novel method to capture camera pose to formulate the detector free from extrinsic perturbation. Specifically, the proposed framework predicts camera extrinsic parameters by detecting vanishing point and horizon change. A converter is designed to rectify perturbative features in the latent space. By doing so, our 3D detector works independent of the extrinsic parameter variations and produces accurate results in realistic cases, e.g., potholed and uneven roads, where almost all existing monocular detectors fail to handle. Experiments demonstrate our method yields the best performance compared with the other state-of-the-arts by a large margin on both KITTI 3D and nuScenes datasets.

연구 동기 및 목표

• 불균일하거나 함몰된 도로에서 실제 자율주행 환경에서의 카메라 외부 파ram터 변동이라는 핵심 과제를 해결한다.
• 기존 단일 카메라 3D 검출기가 고정된 카메라 자세를 가정하고 도로에 의해 유도되는 동적 자세 변화에서 실패하는 한계를 극복한다.
• LiDAR, 레이더 또는 다중 카메라 시스템에 의존하지 않고도 외부 파ram터 변화에 강건한 3D 검출을 가능하게 하는 방법을 개발한다.
• 카메라 자세 추정을 검출 파이프라인에 직접 통합하여 도로에 의해 유도되는 카메라 기울기 및 회전으로 인한 특징 왜곡을 암묵적으로 보정한다.
• 기본 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 실시간 추론 효율성을 유지한다.

제안 방법

• 단일 단일 카메라 이미지에서 퇴적점과 수평선을 검출하여 카메라 외부 파ram터(지면 평면에 대한 기울기 및 회전)를 추정한다.
• KITTI 오도메트리 시퀀스에서의 감독 학습을 통해 카메라 자세를 이미지 특징에서 예측하는 전용 외부 파ram터 회귀 네트워크를 훈련시킨다.
• 예측된 외부 파ram터를 시드로 사용하여 특징 공간 내 잠재적 특징을 보정하는 특징 변환 네트워크를 설계한다.
• 추론 중에 변환 네트워크를 적용하여 3D 박스 예측 이전에 특징 맵의 변동을 보정한다.
• 백본을 수정하지 않고 기반 검출기(예: SMOKE)에 외부 파ram터 인식 모듈을 통합함으로써 즉시 사용 가능한 성능 향상 기능을 제공한다.
• 예측된 카메라 기하학을 사용하여 보정된 3D 예측 결과를 실제 세계 좌표계로 다시 투영한다.

실험 결과

연구 질문

• RQ1 도로의 불균형으로 인한 카메라 외부 파aram터 변화에 대해 단일 카메라 3D 검출이 얼마나 강건하게 작동할 수 있는가?
• RQ2 단일 이미지에서 퇴적점과 수평선 검출이 자세 변동 상황에서 3D 검출 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 예측된 카메라 자세를 특징 공간에 통합함으로써 실제 불균일한 도로 조건에서 일반화 성능이 향상되는가?
• RQ4 학습 중에 진짜 외부 파aram터 데이터가 필요 없이도 학습된 특징 변환 네트워크가 외부 파aram터 유도 왜곡을 효과적으로 보정할 수 있는가?
• RQ5 자세 변화 유무에 관계없이 벤치마크에서 최신 기술 수준의 단일 카메라 검출기와 비교할 때 성능 및 강건성 측면에서 제안된 방법은 어떻게 성과를 내는가?

주요 결과

• MonoEF는 KITTI 3D 벤치마크에서 41.78%의 AP3D를 달성하여 기반 모델인 SMOKE(34.98%)와 M3D-RPN(+E.F.: 41.36%) 및 Kinematic3D(+E.F.: 48.92%)와 같은 최신 기술 수준의 방법들을 크게 앞서간다.
• KITTI 오도메트리 시퀀스 08에서, 모델은 최신 기술 수준의 시각 오도메트리 방법과 유사한 카메라 자세 추정 정확도를 확보하였으며, 피치 각도 오차는 0.87°, 롤 각도 오차는 0.92°였다.
• 특징 보정 모듈은 nuScenes에서 ATE(평균 이동 오차)와 ASE(평균 스케일 오차)를 크게 감소시켜 3D 위치 정확도 향상을 입증하였다.
• 제거 분석 결과, 외부 파aram터 보정이 특히 초기 자세 불일치가 높은 단일 시퀀스 학습에서 상당한 성능 향상을 이끌어냈다.
• MonoEF는 낮은 추론 시간을 유지하며, 가짜 LiDAR 생성이나 쌍 기반 보정과 같은 추가 작업이 필요한 방법들보다 뛰어난 성능을 보였다.
• 기타 최신 기술 수준의 검출기(M3D-RPN, Kinematic3D)에 적용했을 때도 외부 파aram터 보정 모듈은 일관되게 성능 향상을 이끌어내어 그 일반화 능력을 입증하였다.