[논문 리뷰] Multi-Sensor 3D Object Box Refinement for Autonomous Driving

Peiliang Li, Siqi Liu외 1명|arXiv (Cornell University)|2019. 09. 11.

Robotics and Sensor-Based Localization참고 문헌 40인용 수 9

한 줄 요약

이 논문은 단일 카메라를 사용해 초기 3D 박스 예측을 수행하고, 공유된 인스턴스 벡터 표현을 통해 스테레오 또는 LiDAR 데이터를 이용해 이를 보정하는 통합된 이단계 3D 객체 검출 프레임워크를 제안한다. 국소 기하학을 객체 기준 좌표계에서의 3D 좌표로 모델링함으로써, 일관된 3D 보정을 위한 광학적 및 포인트 클라우드 정렬을 가능하게 하며, 단일 카메라 및 스테레오 설정에서 KITTI에서 최신 기술 수준의 성능을 달성하고 LiDAR 기반 기준 모델과 경쟁 가능한 결과를 도출한다.

ABSTRACT

We propose a 3D object detection system with multi-sensor refinement in the context of autonomous driving. In our framework, the monocular camera serves as the fundamental sensor for 2D object proposal and initial 3D bounding box prediction. While the stereo cameras and LiDAR are treated as adaptive plug-in sensors to refine the 3D box localization performance. For each observed element in the raw measurement domain (e.g., pixels for stereo, 3D points for LiDAR), we model the local geometry as an instance vector representation, which indicates the 3D coordinate of each element respecting to the object frame. Using this unified geometric representation, the 3D object location can be unified refined by the stereo photometric alignment or point cloud alignment. We demonstrate superior 3D detection and localization performance compared to state-of-the-art monocular, stereo methods and competitive performance compared with the baseline LiDAR method on the KITTI object benchmark.

연구 동기 및 목표

• 자율주행 환경에서 다양한 모odal(이미지, 디스패리티, 포인트 클라우드)을 가진 다중 센서 데이터 융합의 과제를 해결하기 위해, 강건한 3D 객체 정위치를 위한 기반을 마련한다.
• 센서 요소(픽셀, 3D 포인트)를 객체 기준 좌표계에 대해 상대적으로 모델링하는 통합 기하 표현을 개발하여 일관된 3D 보정을 가능하게 한다.
• 스테레오 및 LiDAR 센서를 재학습 없이도 적응적이고 플러그인 방식으로 활용할 수 있도록 하여 단일 카메라 3D 검출 성능을 향상시킨다.
• 최신 기술 수준의 단일 카메라 및 스테레오 방법과 비교해 KITTI 벤치마크에서 뛰어난 3D 검출 성능을 입증한다.
• 불확실성 인식 기하 제약 조건을 활용해 다중 센서 모달 간 자연스러운 융합을 가능하게 한다.

제안 방법

• 초기 2D 영역 제안 및 3D 경계 상자 생성을 위해 Faster R-CNN 기반의 경량 단일 카메라 3D 검출기를 사용한다.
• 각 센서 요소(예: 픽셀, 3D 포인트)의 3D 좌표를 객체의 국소 좌표계에 대해 상대적으로 인코딩하는 인스턴스 벡터 표현을 도입한다.
• 스테레오 보정을 위해, 영역 기반의 완전 컨volution 네트워크가 인스턴스 벡터와 세그멘테이션 마스크를 예측하여, 와핑 및 오차 최소화를 통한 왼쪽 및 오른쪽 이미지 간 광학적 정렬을 가능하게 한다.
• LiDAR 보정을 위해 PointNet을 사용해 포인트 단위의 인스턴스 벡터를 회귀함으로써, 원래 LiDAR 포인트에 대한 재투영 오차를 최소화하여 포인트 클라우드 정렬을 실현한다.
• 스테레오 및 LiDAR 양쪽에 동일한 기하 에너지 최소화 프레임워크를 적용하여, 센서별 물리 모델을 기반으로 통합된 3D 박스 보정을 가능하게 한다.
• 보정 과정에서 다중 센서의 불확실성 인식 기하 제약 조건을 조합함으로써 자연스러운 센서 융합을 실현한다.

실험 결과

연구 질문

• RQ1 다양한 센서 모달(이미지, 디스패리티, 포인트 클라우드) 간의 격차를 효과적으로 해소하기 위해 통합 기하 표현이 3D 객체 보정에 기여할 수 있는가?
• RQ2 제안된 인스턴스 벡터 표현이 스테레오 및 LiDAR 센서 간에 일관된 3D 정위치 보정을 어떻게 가능하게 하는가?
• RQ3 스테레오 및 LiDAR 센서를 재학습 없이도 단일 카메라 3D 검출 성능 향상에 플러그인 방식으로 활용할 수 있는 정도는 어느 정도인가?
• RQ4 제안된 방법이 단일 카메라 및 스테레오 3D 검출에서 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하는가?
• RQ5 다중 센서의 불확실성 인식 융합이 단일 센서 기반 모델 대비 3D 정위치 정확도 향상에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 단일 카메라 + LiDAR 입력을 사용해 KITTI 벤치마크에서 차량에 대해 88.29%의 3D AP(AP3d) 성능을 달성하였으며, 베이스라인 F-PointNet(v1) 방법을 능가한다.
• 단일 카메라 + 스테레오 입력을 사용한 경우, 어려움 수준이 '쉬움'인 경우 차량에 대해 74.88%의 3D AP(AP3d) 성능을 기록하여 단일 카메라 기반 검출보다 뚜렷한 우수성을 보였다.
• LiDAR 전용 기준 모델과 경쟁 가능한 성능을 보였으며, 차량에 대해 76.65%의 벌거벗은 시야 AP(APbv) 성능을 기록하여, 기준 모델인 F-PointNet(v1)의 77.09%에 근접한 결과를 도출하였다.
• 단일 카메라, 스테레오 및 LiDAR 데이터 융합은 약간의 성능 향상(쉬운 셋에서 차량에 대해 88.37% AP3d)을 가져왔으며, 이는 스테레오의 제한된 범위가 LiDAR 전용 성능 향상에 제약을 주기 때문임을 시사한다.
• 인스턴스 벡터 표현은 다양한 센서 유형 간에 일관된 3D 보정을 가능하게 하였으며, 정성적 결과를 통해 표면 정렬 및 중심 정위치 정확도 향상이 뚜렷하게 관찰되었다.
• 제안된 방법은 단일 카메라 및 스테레오 3D 검출에서 최신 기술 수준의 성능을 달성하였으며, 동시에 LiDAR 기반 방법과 경쟁 가능한 성능을 유지함으로써 통합 기하 프레임워크의 효과성을 입증하였다.