[논문 리뷰] LoGoNet: Towards Accurate 3D Object Detection with Local-to-Global Cross-Modal Fusion

Xin Li, Tao Ma외 9명|arXiv (Cornell University)|2023. 03. 07.

Advanced Neural Network Applications인용 수 5

한 줄 요약

LoGoNet는 3D 객체 검출을 위한 새로운 국소-전반적 다중모달 융합 프레임워크를 제안하며, 세분화된 국소 영역 특징과 전반적 장면 수준의 특징을 융합하여 LiDAR-카메라 특징 융합을 향상시킨다. Global Fusion (GoF), 국소 융합(Local Fusion, LoF) 및 위치 인코딩을 적용한 격자 특징, 그리고 특징 동적 집합(FDA)을 도입함으로써 LoGoNet는 Waymo 3D 검출 랭킹에서 1위를 기록하며 81.02 mAPH (L2)의 최고 성능을 달성한다.

ABSTRACT

LiDAR-camera fusion methods have shown impressive performance in 3D object detection. Recent advanced multi-modal methods mainly perform global fusion, where image features and point cloud features are fused across the whole scene. Such practice lacks fine-grained region-level information, yielding suboptimal fusion performance. In this paper, we present the novel Local-to-Global fusion network (LoGoNet), which performs LiDAR-camera fusion at both local and global levels. Concretely, the Global Fusion (GoF) of LoGoNet is built upon previous literature, while we exclusively use point centroids to more precisely represent the position of voxel features, thus achieving better cross-modal alignment. As to the Local Fusion (LoF), we first divide each proposal into uniform grids and then project these grid centers to the images. The image features around the projected grid points are sampled to be fused with position-decorated point cloud features, maximally utilizing the rich contextual information around the proposals. The Feature Dynamic Aggregation (FDA) module is further proposed to achieve information interaction between these locally and globally fused features, thus producing more informative multi-modal features. Extensive experiments on both Waymo Open Dataset (WOD) and KITTI datasets show that LoGoNet outperforms all state-of-the-art 3D detection methods. Notably, LoGoNet ranks 1st on Waymo 3D object detection leaderboard and obtains 81.02 mAPH (L2) detection performance. It is noteworthy that, for the first time, the detection performance on three classes surpasses 80 APH (L2) simultaneously. Code will be available at \url{https://github.com/sankin97/LoGoNet}.

연구 동기 및 목표

• 기존의 전반적 융합 방법이 세분화된 영역 수준의 정보가 부족하고 국소적 맥락을 충분히 활용하지 못하는 한계를 해결하기 위해.
• LiDAR 포인트 클라우드와 이미지 특징 간의 다중모달 정렬을 향상시키기 위해 복셀 위치를 더 정확하게 표현하기 위해 포인트 중심점을 사용함으로써.
• 국소(제안 수준)와 전반적(장면 수준)의 세분성으로 다중모달 특징을 융합함으로써 검출 정확도를 향상시키기 위해.
• 동적 집합 모듈을 통해 국소 및 전반적 융합 특징 간의 더 풍부한 정보 상호작용을 가능하게 하기 위해.
• 특히 Waymo 오픈 데이터셋에서 주요 3D 검출 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 포인트 중심점을 사용하여 복셀 위치를 표현하는 Global Fusion (GoF)를 제안하여 다중모달 정렬을 향상시키고, 이미지 특징과 함께 변형 가능한 다중모달 어텐션을 가능하게 한다.
• 각 3D 제안을 균일한 격자로 나누고, 격자 중심점을 이미지 평면에 투영하여 국소 이미지 특징을 추출함으로써, 위치가 장식된 포인트 클라우드 특징과 융합하는 Local Fusion (LoF)를 도입한다.
• 각 격자의 공간적 및 기하학적 성질(예: 포인트 수, 중심점)을 인코딩하기 위해 위치 정보 인코더(PIE)를 활용하여 정밀한 국소화 및 특징 표현을 가능하게 한다.
• 자기어텐션을 사용하여 전반적 및 국소 융합 브랜치의 특징 간 동적 상호작용과 정밀 조정을 수행하는 Feature Dynamic Aggregation (FDA) 모듈을 설계한다.
• 제안 수준에서 다중모달 특징을 효과적으로 집계하기 위해 ROI-격자 풀링과 변형 가능한 다중모달 어텐션을 활용한다.
• Waymo 오픈 데이터셋과 KITTI에서 모델을 훈련 및 평가하며, 다중모달 특징 정밀 조정을 수행하는 이단계 검출 헤드를 사용한다.

실험 결과

연구 질문

• RQ1 국소 수준의 다중모달 융합이 전반적 융합을 초월하여 세분화된 맥락적 및 기하학적 세부 정보를 포착함으로써 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 복셀 중심점 대신 포인트 중심점을 사용할 경우, LiDAR-카메라 융합에서 다중모달 정렬과 검출 성능에 어떤 영향을 미치는가?
• RQ3 복합적인 3D 환경에서 전반적 융합만을 사용하는 것과 비교해, 격자 기반 특징 추출을 통한 국소 융합의 기여도는 어떠한가?
• RQ4 전반적 및 국소 융합 특징 간의 동적 상호작용이 특징 표현 및 검출 정확도를 추가로 향상시킬 수 있는가?
• RQ5 제안된 LoGoNet 프레임워크가 대규모 벤치마크인 Waymo와 KITTI에서 기존 SOTA 방법을 얼마나 뛰어넘는가?

주요 결과

• LoGoNet는 Waymo 오픈 데이터셋에서 81.02 mAPH (L2)를 기록하여 공식 3D 객체 검출 랭킹에서 1위를 달성한다.
• LoGoNet는 처음으로 세 가지 클래스(차량, 보행자, 자전거 기사)에 동시에 80 APH (L2) 이상의 검출 성능을 기록한다.
• 제거 분석 결과 각 구성 요소(GoF, LoF, FDA)가 유의미하게 기여하는 것으로 확인되었으며, LoF만으로도 차량, 보행자, 자전거 기사에 대해 각각 1.22%, 2.93%, 1.50%의 mAPH (L2) 향상이 이루어졌다.
• GoF, LoF, FDA의 조합은 단일 모달 RCNN 베이스라인 대비 각각 차량, 보행자, 자전거 기사에 대해 1.85%, 3.19%, 1.63%의 mAPH (L2) 향상을 기록했다.
• LoF에서 더 풍부한 위치 인코딩(XYZ+D+R)을 사용할 경우, 간단한 인코딩 대비 APH (L2)에서 각각 0.12%, 0.28%, 0.15% 향상되었으며, 기하학적 세부 정보의 가치를 입증한다.
• KITTI 테스트 세트에서 LoGoNet는 차량에 대해 85.87 mAPH (L2), 자전거 기사에 대해 73.61 mAPH (L2)를 기록하여 두 벤치마크에서 모두 이전의 SOTA 방법을 모두 압도한다.