[논문 리뷰] Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object Detection

Yingjie Wang, Jiajun Deng외 7명|arXiv (Cornell University)|2023. 06. 02.

Advanced SAR Imaging Techniques인용 수 4

한 줄 요약

Bi-LRFusion는 3D 동적 객체 검출을 위한 양방향 라이다-레이다 융합 프레임워크를 제안하며, 레이다 데이터의 높이 정보 부족 문제를 쿼리 기반 높이 특징 융합(QHF) 블록을 통해 라이다 포인트로부터 허위 높이 특징을 학습함으로써 해결하고, 레이다 BEV 특징을 쿼리 기반 BEV 특징 융합(QBF)을 통해 향상시킨다. 이 방법은 최신 기술 수준의 성능을 달성하며, 유사 높이 객체에서 2.3%의 AP 향상과 높은 객체에서 1.3%의 향상을 기록하고, 40m 이상의 장거리에서 라이다 단독 기반 모델보다 뛰어난 성능을 보인다.

ABSTRACT

LiDAR and Radar are two complementary sensing approaches in that LiDAR specializes in capturing an object's 3D shape while Radar provides longer detection ranges as well as velocity hints. Though seemingly natural, how to efficiently combine them for improved feature representation is still unclear. The main challenge arises from that Radar data are extremely sparse and lack height information. Therefore, directly integrating Radar features into LiDAR-centric detection networks is not optimal. In this work, we introduce a bi-directional LiDAR-Radar fusion framework, termed Bi-LRFusion, to tackle the challenges and improve 3D detection for dynamic objects. Technically, Bi-LRFusion involves two steps: first, it enriches Radar's local features by learning important details from the LiDAR branch to alleviate the problems caused by the absence of height information and extreme sparsity; second, it combines LiDAR features with the enhanced Radar features in a unified bird's-eye-view representation. We conduct extensive experiments on nuScenes and ORR datasets, and show that our Bi-LRFusion achieves state-of-the-art performance for detecting dynamic objects. Notably, Radar data in these two datasets have different formats, which demonstrates the generalizability of our method. Codes are available at https://github.com/JessieW0806/BiLRFusion.

연구 동기 및 목표

• 레이다가 객체의 높이를 캡처하지 못하는 문제로 인해 다양한 유형의 객체에서 검출 성능이 일관되지 않는 문제를 해결한다.
• 양방향 방식으로 라이다와 레이다 특징을 융합하여, 유사 높이 및 높은 객체에 대한 3D 객체 검출 정확도를 향상시킨다.
• 라이다 포인트 클라우드의 밀도가 낮아지는 장거리에서 레이다의 일관된 장거리 커버리지 특성을 활용하여 검출 성능을 향상시킨다.
• 센서의 정렬 오차에 대해 내성적인 융합 메커니즘을 개발하여 실제 캘리브레이션 오류 상황에서도 신뢰할 수 있는 성능을 보장한다.
• CenterPoint와 TransFusion-L을 포함한 여러 라이다 단독 검출기들에 적용하여 프레임워크의 일반화 능력을 입증한다.

제안 방법

• 라이다 포인트로부터 레이다의 높이 정보 부족을 보완하기 위해 허위 높이 특징을 학습하는 쿼리 기반 높이 특징 융합(QHF) 블록을 도입한다.
• 세부적인 라이다 특징을 사용하여 레이다 BEV 특징을 개선하기 위해 쿼리 기반 BEV 특징 융합(QBF) 블록을 활용한다. 이는 소형 또는 먼 거리에 있는 객체의 검출 성능 향상에 기여한다.
• 양방향 융합 전략을 적용한다: R2L(Radar-to-LiDAR)과 L2R(LiDAR-to-Radar)를 통해 다중 모odal 특징 향상이 가능하도록 한다.
• 공간적 이웃 내에서 특징을 집계하기 위해 볼 쿼리와 맨하탄 거리 기반 BEV 쿼리를 사용하여 국소화되고 맥락 인식이 가능한 융합을 보장한다.
• 라이다와 레이다 포인트 클라우드에서 특징 추출을 위해 PointNet과 MLP 기반 백본을 활용하며, 출력 채널 수를 32로 설정한다.
• 쿼리 위치에 기반해 관련 특징을 동적으로 선택하는 다중 척도 융합 메커니즘을 도입하여 센서 정렬 오차에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 레이다 데이터의 높이 정보 부재가 다양한 높이의 객체에 대한 3D 객체 검출 성능에 미치는 영향은 어떠한가?
• RQ2 라이다로부터 유도한 허위 높이 특징 학습이 레이다 기반의 높은 객체 검출에 얼마나 기여하는가?
• RQ3 쿼리 기반 융합 메커니즘이 세부적인 라이다 특징을 활용하여 레이다 BEV 특징을 향상시킬 수 있는가? 특히 소형 또는 먼 거리에 있는 객체에 대해 성능 향상이 이루어지는가?
• RQ4 라이다 포인트 밀도가 감소하는 장거리에서 제안된 융합 프레임워크의 성능은 어떠한가?
• RQ5 실제 자율주행 환경에서 센서 정렬 오차에 대해 융합 프레임워크는 얼마나 내성적인가?

주요 결과

• QHF 블록은 라이다 단독 기반 모델 대비 유사 높이 객체에서 평균 AP를 2.3% 향상시키고, 높은 객체에서는 1.3% 향상시키며, 레이다의 높이 한계를 보완하는 데 효과적임을 입증한다.
• QBF 블록만으로도 유사 높이 객체에서 AP가 4.1% 향상되고, 높은 객체에서는 0.4% 향상되어 세부적인 라이다 특징이 레이다 BEV 표현을 향상시킴을 보여준다.
• 40m 이상의 거리에서는 Bi-LRFusion가 라이다 단독 기반 CenterPoint 기반 모델 대비 차량 검출에서 mAP가 2.2% 높게 기록되어 장거리 검출에서의 우수성을 입증한다.
• 센서 정렬 오차 수준 3 이하에서는 mAP가 0.6% 감소에 그치며 강력한 성능 유지를 보이며, 수준 4에서는 급격히 성능 저하가 발생하여 실용적인 내성 한계를 보여준다.
• TransFusion-L에 적용했을 때, mAP는 65.3%에서 67.5%로 향상되고, mAVE는 24.8에서 23.7로 감소하여 다양한 검출 아키텍처에 적용 가능한 일반화 능력을 확인한다.