[논문 리뷰] Faraway-Frustum: Dealing with Lidar Sparsity for 3D Object Detection using Fusion

Haolin Zhang, Dongfang Yang외 3명|arXiv (Cornell University)|2020. 11. 03.

Robotics and Sensor-Based Localization참고 문헌 27인용 수 6

한 줄 요약

이 논문은 KITTI 벤치마크에서 60미터 이상 떨어진 보행자와 75미터 이상 떨어진 차량에 대해 특히 뛰어난 성능을 보이며, 원거리 물체 탐지에서 최신 기술을 크게 능가하는 새로운 3D 객체 탐지 방법인 Faraway-Frustum을 제안한다. 이 방법은 원거리 물체 분류를 위해 2D RGB 시각 정보를 융합하고, 희소 라이다 포인트 클라우드와 클러스터링을 통해 3D 위치를 추정한다.

ABSTRACT

Learned pointcloud representations do not generalize well with an increase in distance to the sensor. For example, at a range greater than 60 meters, the sparsity of lidar pointclouds reaches to a point where even humans cannot discern object shapes from each other. However, this distance should not be considered very far for fast-moving vehicles: A vehicle can traverse 60 meters under two seconds while moving at 70 mph. For safe and robust driving automation, acute 3D object detection at these ranges is indispensable. Against this backdrop, we introduce faraway-frustum: a novel fusion strategy for detecting faraway objects. The main strategy is to depend solely on the 2D vision for recognizing object class, as object shape does not change drastically with an increase in depth, and use pointcloud data for object localization in the 3D space for faraway objects. For closer objects, we use learned pointcloud representations instead, following state-of-the-art. This strategy alleviates the main shortcoming of object detection with learned pointcloud representations. Experiments on the KITTI dataset demonstrate that our method outperforms state-of-the-art by a considerable margin for faraway object detection in bird's-eye-view and 3D. Our code is open-source and publicly available: https://github.com/dongfang-steven-yang/faraway-frustum.

연구 동기 및 목표

• 라이다 포인트 클라우드가 매우 희소해지는 원거리 물체(60미터 이상)에 대한 3D 객체 탐지의 핵심 과제를 해결한다.
• 학습된 포인트 클라우드 표현이 형태 정보를 상실함에 따라 원거리 희소 물체로의 일반화 성능이 떨어지는 이유를 규명한다.
• 근거리 데이터로 훈련된 깊이 신경망에 의존하는 최신 라이다 기반 탐지기의 한계를 극복한다. 이는 원거리 물체에서 성능이 떨어지는 데 기인한다.
• 2D 이미지 데이터를 활용해 객체 클래스를 식별하고, 희소 포인트 클라우드를 활용해 3D 위치를 추정함으로써 원거리에서의 탐지 정확도를 향상시키는 융합 전략을 개발한다.
• 자르고 난 희소 포인트 클라우드에 대한 클러스터링이 원거리 물체 위치 추정에 대해 학습된 표현보다 더 효과적임을 입증한다.

제안 방법

• RGB 이미지에서의 2D 인스턴스 세그멘테이션 마스크 또는 바운딩 박스를 사용해 후보 물체에 대해 3D 라이다 공간에서 프루스트럼을 생성한다.
• 포인트 클라우드 클러스터링을 적용하여 프루스트럼 내에서 각 물체의 3D 중심을 추정하고, 거리 임계값을 기준으로 원거리 물체를 식별한다.
• 원거리 물체(예: 보행자 >60m, 차량 >75m)의 경우, 추정된 중심과 잘라낸 포인트 클라우드를 기반으로 전용 Faraway Frustum Network(FF-Net)를 사용해 3D 바운딩 박스를 회귀한다.
• 원거리가 아닌 물체의 경우, 학습된 포인트 클라우드 표현(예: PV-RCNN에서 유도된 것)을 그대로 사용해 3D 박스 피팅을 수행하며, 최신 기술과의 호환성을 유지한다.
• 2D 탐지 결과와 라이다 데이터를 융합해 거리에 따라 전략을 조정하는 하이브리드 탐지 파이프라인을 구축한다.
• FF-Net을 훈련시켜 희소 포인트 클라우드를 기반으로 깊이 및 바운딩 박스 형태를 정밀하게 보정함으로써, 밀도 높은 근거리 데이터에서 학습된 표현에 의존하지 않도록 한다.

실험 결과

연구 질문

• RQ1 라이다 포인트 클라우드가 너무 희소하여 형태 기반 탐지가 어려운 상황에서, 2D 시각 기반 객체 식별 기술이 원거리 물체 탐지에 효과적으로 활용될 수 있는가?
• RQ2 매우 희소하고 잘라낸 라이다 포인트 클라우드에 대해 클러스터링이 밀도 높은 포인트 클라우드로 훈련된 딥 네트워크보다 원거리 3D 객체 위치 추정에 더 효과적인가?
• RQ3 2D 탐지와 희소 포인트 클라우드 처리를 융합한 하이브리드 탐지 전략이 근거리/중거리 물체 탐지 성능을 저하시키지 않으면서 원거리 물체 탐지에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 최신 기술 기반의 라이다 기반 3D 탐지기가 실제 벤치마크인 KITTI에서 먼 거리의 물체에서 얼마나 실패하는가?
• RQ5 물체의 거리에 따라 학습된 표현과 클러스터링 기반 위치 추정 간을 전환할 수 있는 모듈러한 탐지 시스템을 설계하는 것이 가능한가?

주요 결과

• KITTI 검증 세트에서 제안된 방법은 조망도 기준으로 60미터 이상 떨어진 원거리 보행자에 대해 45.45%의 mAP를 기록했으며, 최고의 SOTA 방법(Frustum PointNets)보다 45.45 percentage points 높게 성과를 냈다.
• 75미터 이상 떨어진 원거리 차량에 대해서는 조망도 기준으로 46.90%의 mAP를 기록했으며, 다음으로 좋은 방법(Frustum PointNets)보다 46.90 percentage points 높은 성능을 보였다.
• 3D 탐지에서 원거리 보행자(>60m)에 대해 44.54%의 mAP, 원거리 차량(>75m)에 대해 46.90%의 mAP를 기록했으며, 이는 SOTA 방법이 0.00% mAP를 기록한 범주에서 크게 뛰어난 성능을 보였다.
• 비원거리 물체(에이지/모드/하드 벤치마크)에 대해서는 SOTA 수준의 성능을 유지했으며, 모든 IoU 임계값에서 PV-RCNN와 동일하거나 略로 높은 mAP 스코어를 기록했다.
• 정성적 결과에서는 유일하게 제안된 방법만이 도전적인 환경에서 먼 거리의 보행자와 차량을 성공적으로 탐지했으며, SOTA 방법은 완전히 실패했다.
• 제거 실험을 통해 희소 포인트 클라우드에 대한 클러스터링 기반 위치 추정이 원거리 탐지에 대해 학습된 표현보다 더 효과적임을 확인했으며, 핵심 설계 선택의 타당성을 입증했다.