[논문 리뷰] FFPA-Net: Efficient Feature Fusion with Projection Awareness for 3D Object Detection

Chaokang Jiang, Guangming Wang외 3명|arXiv (Cornell University)|2022. 09. 15.

Advanced Neural Network Applications인용 수 4

한 줄 요약

FFPA-Net는 LiDAR 포인트 클라우드 특징 추출을 가속화하기 위해 투영 인식 컨볼루션을 사용하는 효율적인 3D 객체 검출 네트워크를 제안한다. 또한 LiDAR와 RGB 데이터 간 정확하고 실시간인 다중모달 특징 융합을 위한 두 가지 플러그 앤 플레이 융합 모듈인 LiCamFuse와 BiLiCamFuse를 도입한다. 이 방법은 RTX 2080Ti에서 59.40ms의 추론 시간으로 KITTI에서 최신 기술 수준의 3D 검출 성능을 달성한다.

ABSTRACT

Promising complementarity exists between the texture features of color images and the geometric information of LiDAR point clouds. However, there still present many challenges for efficient and robust feature fusion in the field of 3D object detection. In this paper, first, unstructured 3D point clouds are filled in the 2D plane and 3D point cloud features are extracted faster using projection-aware convolution layers. Further, the corresponding indexes between different sensor signals are established in advance in the data preprocessing, which enables faster cross-modal feature fusion. To address LiDAR points and image pixels misalignment problems, two new plug-and-play fusion modules, LiCamFuse and BiLiCamFuse, are proposed. In LiCamFuse, soft query weights with perceiving the Euclidean distance of bimodal features are proposed. In BiLiCamFuse, the fusion module with dual attention is proposed to deeply correlate the geometric and textural features of the scene. The quantitative results on the KITTI dataset demonstrate that the proposed method achieves better feature-level fusion. In addition, the proposed network shows a shorter running time compared to existing methods.

연구 동기 및 목표

• 희박한 LiDAR 포인트 클라우드와 밀도 높은 RGB 이미지 간의 비효율적이고 정확도가 낮은 특징 융합 문제를 해결한다.
• 포인트 클라우드 처리 과정에서 KNN 및 최대 거리 샘플링의 계산 오버헤드를 줄이기 위해 3D 좌표를 기하학적 정보를 유지한 채 2D 평면으로 투영한다.
• 학습된 거리 인식 융합 가중치와 이중 방향 특징 상호작용을 통해 LiDAR 포인트와 이미지 픽셀 간의 다중모달 정렬 불일치를 완화한다.
• 아키텍처의 전반적인 개편 없이도 효율적이고 고정밀도 융합을 가능하게 하는 플러그 앤 플레이 모듈을 설계한다.
• 표준 벤치마크인 KITTI에서 검출 정확도를 유지하거나 향상시키면서도 실시간 추론 속도를 확보한다.

제안 방법

• 원시 3D LiDAR 좌표를 2D 평면으로 투영하여 투영 인식 컨볼루션 레이어를 사용해 더 빠르고 구조화된 특징 추출을 가능하게 한다.
• 사전 처리를 통해 LiDAR 포인트와 이미지 픽셀 간의 다중모달 대응 인덱스를 사전에 계산하고 저장하여 융합 시 빠른 검색을 가능하게 한다.
• LiCamFuse를 도입하여 이중 모달 특징 간 유클리드 거리 기반 소프트 쿼리 가중치를 계산함으로써 정렬을 향상시킨다.
• BiLiCamFuse를 제안하여 LiDAR 포인트가 인접한 픽셀 특징을 쿼리하고 반대로도 가능하게 하여 이중 방향 특징 상호작용을 가능하게 한다.
• 투영된 2D 맵에서 국소 KNN 연산을 사용해 국소 기하학적 및 텍스처 특징을 효율적으로 추출함으로써 계산 비용을 감소시킨다.
• 융합 모듈을 엔드 투 엔드 3D 검출 네트워크에 통합하여 특징 학습과 검출의 공동 최적화를 실현한다.

실험 결과

연구 질문

• RQ1 투영 인식 특징 학습은 LiDAR 포인트 클라우드의 기하학적 충실도를 유지하면서도 3D 객체 검출의 계산 비용을 줄일 수 있는가?
• RQ2 특징 융합 과정에서 LiDAR 포인트와 이미지 픽셀 간의 다중모달 정렬 불일치를 효과적으로 완화할 수 있는가?
• RQ3 LiCamFuse와 BiLiCamFuse와 같은 플러그 앤 플레이 융합 모듈은 추론 속도를 희생시키지 않고 검출 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 2D LiDAR 투영에서 특징 완전성과 제로 포인트 밀도를 균형 잡기 위한 최적의 투영 해상도는 무엇인가?
• RQ5 기존 방법과 비교해 본다면, 제안된 융합 전략은 표준 벤치마크에서 정확도, 속도, 내구성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• FFPA-Net는 KITTI 검증 세트에서 어려운 샘플에 대해 91.93%의 3D 검출 mAP (IoU=0.7) 성능을 달성하여 PointRCNN와 EPNet를 능가한다.
• NVIDIA RTX 2080Ti GPU에서 추론 시간이 단 59.40ms에 불과하여 많은 LiDAR 전용 또는 다중모달 기반 기준보다 빠르게 작동한다.
• BiLiCamFuse는 어려운 샘플에서 91.93%의 최고 mAP 성능을 기록하여 깊이 있는 이중 방향 특징 융합의 효과를 입증한다.
• LiCamFuse는 유클리드 거리를 소프트 쿼리 가중치에 통합하여 다중모달 간 정렬 불일치를 감소시켜 융합 정확도를 향상시킨다.
• 최적의 투영 해상도는 40×275로 도출되었으며, 이는 특징 유지와 계산 효율성 사이의 균형을 잘 잡고 있다.
• 절단 분석 결과, LiCamFuse와 BiLiCamFuse 모두 성능 향상에 기여하며, BiLiCamFuse는 약간의 속도 손실을 감수하면서도 가장 우수한 종합 성능을 보였다.