[논문 리뷰] RaLiBEV: Radar and LiDAR BEV Fusion Learning for Anchor Box Free Object Detection Systems

Yanlong Yang, Jianan Liu외 4명|arXiv (Cornell University)|2022. 11. 11.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 자율주행에서 강력한 3차원 객체 검출을 위해 라이다 포인트 클라우드와 레이더 범위-아자임스 히트맵을 융합하는 앵커 박스가 없는 베이비의 뷰(BEV) 통합 네트워크인 RaLiBEV를 제안한다. 새로이 도입된 레이블 할당 전략(GACHIPS)과 상호작용형 트랜스포머 모듈(DQMITBF)을 통해 RaLiBEV는 기존 방법보다 각각 맑은 조건과 dense 안개 조건에서 IoU=0.8일 때 13.1%와 19.0%의 mAP 향상을 달성하여 최신 기술 수준(SOTA)을 확립한다.

ABSTRACT

In autonomous driving, LiDAR and radar are crucial for environmental perception. LiDAR offers precise 3D spatial sensing information but struggles in adverse weather like fog. Conversely, radar signals can penetrate rain or mist due to their specific wavelength but are prone to noise disturbances. Recent state-of-the-art works reveal that the fusion of radar and LiDAR can lead to robust detection in adverse weather. The existing works adopt convolutional neural network architecture to extract features from each sensor data, then align and aggregate the two branch features to predict object detection results. However, these methods have low accuracy of predicted bounding boxes due to a simple design of label assignment and fusion strategies. In this paper, we propose a bird's-eye view fusion learning-based anchor box-free object detection system, which fuses the feature derived from the radar range-azimuth heatmap and the LiDAR point cloud to estimate possible objects. Different label assignment strategies have been designed to facilitate the consistency between the classification of foreground or background anchor points and the corresponding bounding box regressions. Furthermore, the performance of the proposed object detector is further enhanced by employing a novel interactive transformer module. The superior performance of the methods proposed in this paper has been demonstrated using the recently published Oxford Radar RobotCar dataset. Our system's average precision significantly outperforms the state-of-the-art method by 13.1% and 19.0% at Intersection of Union (IoU) of 0.8 under 'Clear+Foggy' training conditions for 'Clear' and 'Foggy' testing, respectively.

연구 동기 및 목표

• 악천후에서 앵커 기반 객체 검출의 한계, 특히 분류 및 회귀 헤드 간의 일관성 부족 문제를 해결하기 위해.
• 희박한 라이다 포인트 클라우드와 저해상도 레이더 히트맵 간의 융합 강건성을 향상시키기 위해.
• 사전 정의된 앵커 박스에 의존하지 않으면서도 도전적인 조건에서도 높은 검출 정확도를 유지하기 위해.
• 대칭적이고 학습 가능한 쿼리 기반 트랜스포머 메커니즘을 통해 레이더 및 라이다 모odal 간의 기능 상호작용을 향상시키기 위해.
• 라이다 성능이 크게 떨어지는 안개 낀 환경에서 뛰어난 일반화 능력과 정밀도를 입증하기 위해.

제안 방법

• 라이다 포인트 클라우드를 피라미드 구조로 변환하여 구조화된 표현으로 BEV 특징 맵으로 변환한다.
• 레이더 범위-아자임스 히트맵을 천연적인 BEV 표현으로 활용하여 각도 및 거리 정보를 유지한다.
• 손실 불일치 문제를 해결하기 위해 전방위/후방위 분류와 바운딩 박스 회귀를 동적으로 정렬하는 새로운 레이블 할당 전략인 GACHIPS를 도입한다.
• 학습 가능한 쿼리를 통해 레이더 및 라이다 특징 간의 대칭적이고 적응적인 융합을 가능하게 하는 상호작용형 트랜스포머 모듈인 DQMITBF를 제안한다.
• 다중 스케일 앵커-프리 검출 헤드를 적용하여 융합된 BEV 특징에서 직접 객체 카테고리와 바운딩 박스를 예측한다.
• 강건성 테스트를 위해 혼합된 맑은 조건과 안개 낀 조건 데이터를 포함한 옥스포드 레이더 로봇카 데이터셋에서 모델을 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 BEV에서 라이다와 레이더 데이터를 융합하는 앵커-프리 검출 프레임워크가 3차원 객체 검출에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 GACHIPS와 같은 동적 레이블 할당 전략은 엔드 투 엔드 훈련 중 분류 및 회귀 헤드 간의 일관성을 어떻게 향상시키는가?
• RQ3 상호작용형 트랜스포머 기반 융합 메커니즘이 악천후 조건에서 레이더 및 라이다 간의 기능 상호작용을 얼마나 향상시키는가?
• RQ4 라이다-오직 또는 레이더-오직 기준 모델과 비교해 BEV에서 라이다와 레이더를 융합하면 안개 낀 조건에서 검출 정확도가 상당히 향상되는가?
• RQ5 경량적이고 대칭적인 융합 메커니즘이 다중 센서 검출에서 복잡한 비대칭 트랜스포머 융합 아키텍처를 능가할 수 있는가?

주요 결과

• RaLiBEV는 '맑음+안개' 훈련 및 '맑음' 테스트 조건에서 IoU=0.8일 때 최신 기술 수준의 방법보다 13.1% mAP 향상을 달성한다.
• 안개 낀 테스트 시나리오에서는 '맑음+안개' 데이터로 훈련된 경우 IoU=0.8일 때 최신 기술 수준을 19.0% mAP 향상으로 초월한다.
• '맑음-오직' 데이터로 훈련된 모델도 안개 낀 조건에서 IoU=0.8일 때 여전히 97.8% mAP를 기록하여 뛰어난 일반화 능력을 입증한다.
• DQMITBF 융합 모듈은 직접적인 트랜스포머 융합보다 우수하며, 레이더 및 라이다 특징 간의 적응적이고 대칭적인 어텐션을 가능하게 한다.
• RaLiBEV는 안개 낀 조건에서 임의의 오류 경고를 하나만 기록하고 헤딩 예측 뒤집힘 오류는 전혀 발생시키지 않아, 오류 감소 효과를 입증한다.
• 라이다-오직 모델(예: PointPillars) 및 레이더-오직 기준 모델과 비교해, 특히 안개 낀 상황에서 라이다와 레이더의 융합이 검출 정확도 향상에 기여함을 확인한다.