[논문 리뷰] Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion

Xiaopei Wu, Liang Peng외 6명|arXiv (Cornell University)|2022. 03. 18.

Advanced Neural Network Applications인용 수 14

한 줄 요약

이 논문은 깊이 보완을 통해 생성된 조밀한 가짜 포인트 클라우드와 흩어진 원시 포인트 클라우드를 융합함으로써 LiDAR 단일 모달 검출 성능을 향상시키는 새로운 다중 모달 3D 객체 검출 프레임워크인 SFD를 제안한다. 3D-GAF를 통해 세밀한 RoI 특징 융합을 구현하고, SynAugment를 통해 동기화된 데이터 증강을 실현하며, CPConv를 통해 효율적인 3D 특징 추출을 수행하여 KITTI 차량 검출 벤치마크에서 95.52%의 3D AP를 달성하며 최신 기술 수준을 확립한다.

ABSTRACT

Current LiDAR-only 3D detection methods inevitably suffer from the sparsity of point clouds. Many multi-modal methods are proposed to alleviate this issue, while different representations of images and point clouds make it difficult to fuse them, resulting in suboptimal performance. In this paper, we present a novel multi-modal framework SFD (Sparse Fuse Dense), which utilizes pseudo point clouds generated from depth completion to tackle the issues mentioned above. Different from prior works, we propose a new RoI fusion strategy 3D-GAF (3D Grid-wise Attentive Fusion) to make fuller use of information from different types of point clouds. Specifically, 3D-GAF fuses 3D RoI features from the couple of point clouds in a grid-wise attentive way, which is more fine-grained and more precise. In addition, we propose a SynAugment (Synchronized Augmentation) to enable our multi-modal framework to utilize all data augmentation approaches tailored to LiDAR-only methods. Lastly, we customize an effective and efficient feature extractor CPConv (Color Point Convolution) for pseudo point clouds. It can explore 2D image features and 3D geometric features of pseudo point clouds simultaneously. Our method holds the highest entry on the KITTI car 3D object detection leaderboard, demonstrating the effectiveness of our SFD. Codes are available at https://github.com/LittlePey/SFD.

연구 동기 및 목표

• 멀리 떨어진 영역나 사물이 가림을 입은 영역에서 흩어진 포인트 클라우드로 인해 발생하는 LiDAR 단일 모달 3D 검출기의 성능 한계를 해결한다.
• 기존 다중 모달 방법에서 이미지와 LiDAR의 2D 특징을 연결함으로써 특징 혼란과 정렬 오류를 유발하는 굵은 수준의 RoI 융합 전략을 해결한다.
• 시야각과 가림 요건으로 인해 이미지 기반 증강 기법을 적용하기 어려운 다중 모달 3D 검출에서의 부족한 데이터 증강 문제를 해결한다.
• 가짜 포인트 클라우드에서 2D 이미지 특징과 3D 기하학적 특징을 동시에 효과적으로 캡처할 수 있는 효율적인 특징 추출기 개발
• 표준 3D 검출 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해 표현을 통합하고 고급 증강 기법을 가능하게 한다.

제안 방법

• 깊이 보완을 통해 조밀한 가짜 포인트 클라우드를 생성하여 흩어진 LiDAR 포인트 클라우드를 풍부하게 하여, 가림 및 먼 거리 영역에서 기하학적 및 의미적 정보를 향상시킨다.
• 3D-GAF(3D 격자 기반 주의 융합)를 제안하며, 원시 포인트 클라우드와 가짜 포인트 클라우드의 3D RoI 특징을 격자 기반 주의 방식으로 세밀하게 융합한다.
• SynAugment를 도입하여, 3D 공간에서 동작함으로써 LiDAR 단일 모달 증강 기법(예: gt-샘플링, 국소 회전)을 가짜 포인트 클라우드에 적용할 수 있도록 하는 동기화된 데이터 증강 전략을 제공한다.
• CPConv(컬러 포인트 컨볼루션)를 설계하여 각 3D RoI 내의 가짜 포인트를 원래 이미지 공간으로 다시 투영함으로써 특징 추출을 수행하며, 시야각 가림 문제를 피한다.
• RoI 인식 기반 이웃 탐색을 사용하여 가로막는 포인트가 특징 학습 과정에 간섭하지 않도록 하여 특징 무결성을 유지한다.
• 가짜 포인트 클라우드를 입력으로 사용하여 깊이 보완, 검출 헤드, 특징 추출 모듈을 공동 최적화하는 엔드 투 엔드 SFD 프레임워크를 훈련한다.

실험 결과

연구 질문

• RQ1 깊이 보완을 통해 생성된 조밀한 가짜 포인트 클라우드가 흩어진 영역 및 가림 영역에서 3D 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 2D 자르기 특징이 아닌 3D RoI 특징을 대상으로 하는 3D-GAF 융합 전략이 기존 연결 기반 융합 방식보다 더 정확하고 강건한 검출을 가능하게 하는가?
• RQ3 LiDAR 단일 모달 방법 전용으로 개발된 증강 기법이 3D 공간에서 가짜 포인트 클라우드를 대상으로 운영됨으로써 다중 모달 3D 검출에 효과적으로 이식될 수 있는가?
• RQ4 CPConv와 같은 전용 특징 추출기가 가짜 포인트 클라우드에서 2D 이미지 특징과 3D 기하학적 특징을 효율적으로 융합하면서도 가림 아티팩트를 유발하지 않는가?
• RQ5 제안된 SFD 프레임워크가 KITTI와 같은 표준 3D 검출 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• SFD는 2021년 11월 16일 기준 공식 랭킹에서 KITTI 차량 검출 벤치마크에서 중간 수준에서 95.52%의 3D AP를 달성하여 1위를 기록했다.
• 중간 수준에서, SFD는 모든 세 클래스를 훈련할 경우 Voxel-RCNN 대비 차량의 3D AP를 +6.13% 향상시키며, 보행자에선 +2.39%, 자전거 타는 이동자에선 +3.35% 향상되었다.
• 심한 가림(가림 수준 2) 조건에서 차량 검출에 대해 SFD는 85.57%의 3D AP를 기록하여 기준 모델 대비 +6.84% 향상되어 강력한 가림에 대한 내성성을 입증했다.
• 장거리(>40m) 영역에서 SFD는 21.91%의 3D AP를 기록하여 기준 모델 대비 +6.88% 향상되어 흩어진 포인트 클라우드 처리에 효과적임을 보였다.
• NVIDIA RTX 2080 Ti에서 SFD는 10.2 FPS의 경쟁적인 추론 속도를 유지하며, PointPainting(2.5 FPS) 및 F-PointNet(5.9 FPS)과 같은 다른 다중 모달 방법들을 능가했다.
• 정성 분석 결과, SFD는 배경 혼동(예: 울타리가 차량으로 오인되는 경우)으로 인한 오분류를 줄이고, 가림 및 장거리 상황에서의 정밀도를 향상시켰다.