[논문 리뷰] SuperFusion: Multilevel LiDAR-Camera Fusion for Long-Range HD Map Generation

Hao Dong, Weihao Gu외 6명|arXiv (Cornell University)|2022. 11. 28.

Advanced Neural Network Applications인용 수 10

한 줄 요약

SuperFusion는 입력, 특징, BEV 수준에서 다중 수준 라이다-카메라 융합을 통해 장거리 고정밀 지ap 생성을 90미터까지 향상시킨 네트워크를 제안한다. 라이다 깊이를 이용해 카메라의 깊이 추정을 향상시키고, 교차 어텐션을 통해 카메라 특징을 활용해 장거리 라이다 특징 예측을 안내함으로써, nuScenes 및 자체 제작 데이터셋에서 최신 기술 수준의 성능을 달성하며, 장거리 시나리오에서 72%의 경로 계획 성공률을 기록한다.

ABSTRACT

High-definition (HD) semantic map generation of the environment is an essential component of autonomous driving. Existing methods have achieved good performance in this task by fusing different sensor modalities, such as LiDAR and camera. However, current works are based on raw data or network feature-level fusion and only consider short-range HD map generation, limiting their deployment to realistic autonomous driving applications. In this paper, we focus on the task of building the HD maps in both short ranges, i.e., within 30 m, and also predicting long-range HD maps up to 90 m, which is required by downstream path planning and control tasks to improve the smoothness and safety of autonomous driving. To this end, we propose a novel network named SuperFusion, exploiting the fusion of LiDAR and camera data at multiple levels. We use LiDAR depth to improve image depth estimation and use image features to guide long-range LiDAR feature prediction. We benchmark our SuperFusion on the nuScenes dataset and a self-recorded dataset and show that it outperforms the state-of-the-art baseline methods with large margins on all intervals. Additionally, we apply the generated HD map to a downstream path planning task, demonstrating that the long-range HD maps predicted by our method can lead to better path planning for autonomous vehicles. Our code has been released at https://github.com/haomo-ai/SuperFusion.

연구 동기 및 목표

• 기존 고정밀 지도 생성 방법이 일반적으로 30m 이내의 단거리 지도만 생성하는 한계를 해결하여 자율주행에서 원활하고 안전한 경로 계획을 방해하지 않도록 하는 것.
• 라이다와 카메라 데이터의 상호보완적 강점을 활용해 정확한 장거리 의미 지도 예측을 위한 견고한 다중 수준 융합 프레임워크를 개발하는 것.
• 장거리 고정밀 지도가 후속 경로 계획 및 운동 제어 성능을 크게 향상시킨다는 것을 입증하는 것.
• 향후 장거리 고정밀 지도 생성 분야의 연구를 지원하기 위해 코드와 새로운 자체 기록 데이터셋을 공개하는 것.

제안 방법

• 라이다와 카메라 데이터를 세 수준에서 융합: 라이다 포인트를 이미지 공간으로 투영하고 라이다 깊이를 사용해 카메라에서 BEV로의 변환을 감독하는 입력 수준 융합.
• 교차 어텐션 기반 메커니즘을 활용해 이미지 특징을 기반으로 장거리 라이다 BEV 특징 예측을 안내함으로써, 희박한 라이다 데이터 영역에서 의미 일관성을 향상시킴.
• 정확하지 않은 깊이 추정 및 센서 간 외부 캘리브레이션 오차로 인한 오차를 보정하기 위해 BEV 정렬 모듈을 도입.
• 학습 가능한 어텐션 메커니즘을 사용해 라이다 및 카메라 BEV 특징을 정렬하고 융합하는 BEV 수준 융합 전략을 통합.
• 라이다 BEV 특징 보완을 위해 이미지 특징에 의해 안내되는 인코더-디코더 아키텍처를 가진 다단계 네트워크 아키텍처를 활용.
• 원래 깊이 값을 유지하는 희소 깊이 맵을 입력 채널로 통합해 이미지 기반 특징 학습에 정확한 깊이 사전 지식을 제공함.

Figure 1 : Long-range HD map generation for path planning. The red car represents the current position of the car, and the blue star is the goal. The upper figure shows that the baseline method only generates short-range HD maps, leading to lousy planning results. The lower one shows that our SuperF

실험 결과

연구 질문

• RQ1 라이다와 카메라 데이터의 다중 수준 융합이 기존의 30m 한계를 초월해 장거리 고정밀 지도 생성을 향상시킬 수 있는가?
• RQ2 이미지에 의해 안내되는 라이다 특징 예측은 라이다 데이터가 희박한 먼 거리 영역에서 의미 일관성을 어떻게 향상시키는가?
• RQ3 센서 캘리브레이션 또는 깊이 추정이 정확하지 않을 경우 BEV 특징 정렬이 지도 정확도에 어떤 영향을 미치는가?
• RQ4 장거리 고정밀 지도가 자율주행에서 후속 경로 계획 성능에 얼마나 기여하는가?
• RQ5 초기 기술 수준의 방법들과 비교했을 때 SuperFusion는 단거리 및 장거리 지도 생성 작업 모두에서 어떤 성능을 보이는가?

주요 결과

• SuperFusion는 장거리 시나리오(30–90m)에서 72%의 경로 계획 성공률을 기록하여, HDMapNet(45%) 및 BEVFusion(49%)를 크게 앞서나간다.
• nuScenes 및 자체 제작 데이터셋에서 모든 평가 간격에서 최신 기술 수준의 기준 모델을 초월하며, 단거리 및 장거리 지도 생성 모두에서 큰 격차를 확보한다.
• 교차 어텐션 모듈을 제거할 경우 성능 저하가 심각하게 발생함으로써, 이 모듈이 장거리 라이다 특징 예측을 안내하는 데 핵심적인 역할을 한다는 것을 확인한다.
• BEV 정렬 모듈은 깊이 추정이나 외부 파rameter 오차가 있는 상황에서도 기준 모델 대비 지도 정확도를 향상시킨다.
• 원래 깊이 값을 유지하는 희소 깊이 맵을 입력 채널로 통합할 경우 가장 높은 성능을 기록하며, 범주 기반 깊이 또는 별도의 인코더보다 우수한 성능을 보인다.
• 커브 구간에서는 베이스라인 대비 SuperFusion의 성능 향상이 더욱 두드러지며, 이는 복잡한 도로 기하학적 구조 예측에 효과적이라는 것을 시사한다.

Figure 2 : Pipeline overview of SuperFusion. Our method fuses camera and LiDAR data in three levels: the data-level fusion fuses depth information from LiDAR to improve the accuracy of image depth estimation, the feature-level fusion uses cross-attention for long-range LiDAR BEV feature prediction w