[논문 리뷰] VPFNet: Improving 3D Object Detection with Virtual Point based LiDAR and Stereo Data Fusion

Hanqi Zhu, Jiajun Deng외 5명|arXiv (Cornell University)|2021. 11. 29.

Advanced Neural Network Applications인용 수 6

한 줄 요약

VPFNet은 희박한 LiDAR 점군과 밀도 높은 스테레오 영상 간의 해상도 격차를 보완하기 위해 중간 가상 점을 도입함으로써, 효율적이고 정확한 다중 모odal 특징 집합을 가능하게 하는 가상 점 기반 융합 프레임워크를 제안한다. 이 방법은 KITTI 벤치마크에서 83.21%의 중간 3D AP와 91.86%의 중간 BEV AP를 기록하며 최신 기술 수준을 달성하였으며, 단일 RTX 2080Ti에서 실시간 추론 속도 15.7 FPS를 유지한다.

ABSTRACT

It has been well recognized that fusing the complementary information from depth-aware LiDAR point clouds and semantic-rich stereo images would benefit 3D object detection. Nevertheless, it is not trivial to explore the inherently unnatural interaction between sparse 3D points and dense 2D pixels. To ease this difficulty, the recent proposals generally project the 3D points onto the 2D image plane to sample the image data and then aggregate the data at the points. However, this approach often suffers from the mismatch between the resolution of point clouds and RGB images, leading to sub-optimal performance. Specifically, taking the sparse points as the multi-modal data aggregation locations causes severe information loss for high-resolution images, which in turn undermines the effectiveness of multi-sensor fusion. In this paper, we present VPFNet -- a new architecture that cleverly aligns and aggregates the point cloud and image data at the `virtual' points. Particularly, with their density lying between that of the 3D points and 2D pixels, the virtual points can nicely bridge the resolution gap between the two sensors, and thus preserve more information for processing. Moreover, we also investigate the data augmentation techniques that can be applied to both point clouds and RGB images, as the data augmentation has made non-negligible contribution towards 3D object detectors to date. We have conducted extensive experiments on KITTI dataset, and have observed good performance compared to the state-of-the-art methods. Remarkably, our VPFNet achieves 83.21\\% moderate 3D AP and 91.86\\% moderate BEV AP on the KITTI test set, ranking the 1st since May 21th, 2021. The network design also takes computation efficiency into consideration -- we can achieve a FPS of 15 on a single NVIDIA RTX 2080Ti GPU. The code will be made available for reproduction and further investigation.

연구 동기 및 목표

• 기존 융합 방법에서 발생하는 해상도 불일치 문제로 인한 정보 손실을 해결하기 위해, 희박한 3D LiDAR 점군과 밀도 높은 2D 스테레오 영상 간의 해상도 불일치 문제를 해결한다.
• 점군의 밀도와 픽셀의 밀도 사이에 위치하는 가상 점을 도입함으로써, 균형 잡힌 특징 집합을 가능하게 하고 다중 모달 3D 객체 검출 성능을 향상시킨다.
• 멀리 떨어진, 가림당한, 근접한 객체와 같은 도전적인 케이스에 대해 향상된 특징 표현을 통해 검출 정확도를 향상시킨다.
• 가상 점 밀도와 희소 3D 컨볼루션 사용 최적화를 통해 계산 효율성을 확보함으로써 실시간 추론을 유지한다.
• 모델의 일반화 능력과 성능 향상을 높이기 위해 다중 모달 데이터 증강 기법을 통합한다.

제안 방법

• LiDAR 점군과 영상 픽셀 간의 밀도 중간에 위치하는 가상 점을 중간 표현으로 생성하여 센서 간 해상도 격차를 효과적으로 해소한다.
• 다양한 미분 가능 샘플링을 통해 가상 점에서 영상 특징을 추출하고, K-최근접 이웃을 사용하여 근처 3D 점들로부터 LiDAR 특징을 집계한다.
• 각각의 가중치를 가지는 이중 브랜치 검출 헤드를 도입하여 단일 모달의 지배를 방지하고 다중 모달 특징의 균형 잡힌 융합을 가능하게 한다.
• 가상 점 격자에 대해 희소 3D 컨볼루션을 적용하여 집계된 특징을 효율적으로 처리함으로써 계산 비용을 감소시킨다.
• LiDAR 및 스테레오 입력에 모두 데이터 증강 전략을 적용하여 강건성과 일반화 능력을 향상시킨다.
• 최종 검출 헤드는 향상된 국소화, 방향성 및 크기 추정을 통해 3D 경계 상자 예측을 수행한다.

실험 결과

연구 질문

• RQ1 희박한 3D LiDAR 점군과 밀도 높은 2D 스테레오 영상 간의 해상도 불일치 문제를 효과적으로 해결하면서 정보 손실 없이 융합할 수 있는가?
• RQ2 3D 점과 2D 픽셀 간의 중간 밀도를 가지는 가상 점이 특징 집합 향상과 더 많은 정보 유지에 기여하는가?
• RQ3 제안된 융합 메커니즘이 가림, 장거리 검출 등 다양한 시나리오에서 3D 객체 검출 정확도에 상당한 향상 효과를 주는가?
• RQ4 최신 기술 수준의 성능을 달성하면서도 실시간 추론 속도를 유지할 수 있는가?
• RQ5 다중 모달 데이터 증강이 검출기의 강건성과 일반화 능력 향상에 얼마나 기여하는가?

주요 결과

• VPFNet은 KITTI 테스트 세트에서 83.21%의 중간 3D AP와 91.86%의 중간 BEV AP를 기록하며, 2021년 5월 21일 이래로 1위를 유지하고 있다.
• 멀리 떨어진, 가림당한 객체에 대해 회전 추정 성능이 향상되었고, 근접한 객체의 박스 크기 추정도 정밀해졌다.
• 16×8×22 격자 블록과 6×6×6 쿼리 점을 사용할 경우, VPFNet은 단일 NVIDIA RTX 2080Ti GPU에서 63.6ms의 추론 시간과 15.7 FPS를 달성한다.
• 가상 점 밀도를 높일수록 정확도는 향상되지만 지연 시간도 증가하여, 성능과 속도 사이의 트레이드오���이 존재하며, 격자 설정을 통해 조절 가능하다.
• 절단 분석 결과, 직접적인 점에서 영상로의 투영 방식이나 3D에서 2D로의 리프팅 방식보다 가상 점 기반 융합이 더 뛰어난 성능을 보이며, 특히 영상 특징 정보 유지에 유리하다.
• 다중 모달 데이터 증강의 통합은 성능 향상에 추가 기여하며, 검출기 정확도 향상에 무시할 수 없는 기여를 한다.