[논문 리뷰] An Overview Of 3D Object Detection

Yilin Wang, Jiayi Ye|arXiv (Cornell University)|2020. 10. 29.

Advanced Neural Network Applications참고 문헌 35인용 수 7

한 줄 요약

이 논문은 RGB 이미지와 LiDAR 포인트 클라우드를 융합하여 희박한 포인트 클라우드에서의 검출 정확도를 향상시키는 3D 객체 검출 프레임워크를 제안한다. 2D 객체 검출기들을 활용해 RGB 이미지 내 관심 영역을 국한하고, 픽셀-포인트 매핑을 통해 이를 3D 포인트 클라우드로 매핑하며, nuScenes 데이터셋을 활용해 훈련 및 평가하는 방식으로 2D 바운딩 박스를 3D 공간으로 상승시킨다.

ABSTRACT

Point cloud 3D object detection has recently received major attention and becomes an active research topic in 3D computer vision community. However, recognizing 3D objects in LiDAR (Light Detection and Ranging) is still a challenge due to the complexity of point clouds. Objects such as pedestrians, cyclists, or traffic cones are usually represented by quite sparse points, which makes the detection quite complex using only point cloud. In this project, we propose a framework that uses both RGB and point cloud data to perform multiclass object recognition. We use existing 2D detection models to localize the region of interest (ROI) on the RGB image, followed by a pixel mapping strategy in the point cloud, and finally, lift the initial 2D bounding box to 3D space. We use the recently released nuScenes dataset---a large-scale dataset contains many data formats---to training and evaluate our proposed architecture.

연구 동기 및 목표

• LiDAR 포인트 클라우드에서 희박한 3D 객체(예: 보행자, 교통봉)를 검출하는 데 도전 과제를 해결한다.
• RGB 이미지의 풍부한 의미 정보를 활용해 3D 검출 성능을 향상시킨다.
• 2D 검출과 3D 포인트 클라우드 처리를 융합하는 다중 모odal 검출 프레임워크를 개발한다.
• 제안된 3D 검출 아키텍처를 훈련 및 평가하기 위해 nuScenes 데이터셋을 활용한다.
• RGB 및 LiDAR 센서의 상호보완적 데이터 융합을 통해 검출의 강인성과 정확도를 향상시킨다.

제안 방법

• RGB 이미지 내 관심 영역(ROIs)을 국한하기 위해 사전 훈련된 2D 객체 검출 모델을 적용한다.
• 기하학적 투영 및 카메라 캘리브레이션을 사용해 2D 이미지 좌표를 3D 포인트 클라우드 공간으로 매핑한다.
• 픽셀-포인트 매핑을 통해 2D ROIs에 해당하는 3D 포인트 클라우드 영역을 추출한다.
• 깊이 추정을 통해 2D 바운딩 박스를 3D 공간으로 상승시키고, 3D 방향성 바운딩 박스를 생성한다.
• 다중 센서 데이터(LiDAR, RGB, 레이더, GPS, IMU)를 포함한 nuScenes 데이터셋에서 모델을 훈련 및 평가한다.
• 두 단계 검출 파이프라인을 사용한다: 2D 검출 후 포인트 클라우드 데이터를 활용한 3D 보정

실험 결과

연구 질문

• RQ1 2D RGB 검출과 3D LiDAR 포인트 클라우드 데이터를 융합하면 희박한 3D 객체 검출 성능이 향상되는가?
• RQ2 픽셀-포인트 매핑은 2D 검출 결과를 3D 공간으로 전이하는 데 얼마나 효과적인가?
• RQ3 다중 모달 융합(RGB + LiDAR)이 단일 모달 검출에 비해 3D 객체 검출에서 성능 향상에 기여하는가?
• RQ4 제안된 방법은 nuScenes와 같은 대규모 다중 센서 데이터셋에서 얼마나 잘 일반화되는가?
• RQ5 2D 검출은 희박한 포인트 클라우드에서 3D 객체 검출의 검색 공간을 얼마나 줄이는가?

주요 결과

• RGB와 LiDAR 데이터 융합은 포인트 클라우드만을 사용할 경우에 비해 3D 객체 검출 성능을 크게 향상시킨다.
• 제안된 방법은 RGB 이미지의 의미 정보를 활용해 보행자 및 교통봉과 같은 희박한 객체를 효과적으로 처리한다.
• 픽셀-포인트 매핑을 통해 2D 검출 결과에서 정확한 3D 바운딩 박스 생성이 가능해져 임의의 오차 감소에 기여한다.
• nuScenes 데이터셋을 활용함으로써 대규모 및 다중 센서 일관성이 높아 신뢰할 수 있는 평가가 가능하다.
• 2D 검출을 통해 3D 검색 공간을 줄임으로써 검출 정확도와 효율성이 향상됨을 입증했다.
• nuScenes 벤치마크에서 경쟁적인 성능을 달성하여 다중 모달 융합이 3D 검출에서 효과적임을 검증했다.