[논문 리뷰] HDMapNet: A Local Semantic Map Learning and Evaluation Framework.

Qi Li, Yue Wang외 2명|arXiv (Cornell University)|2021. 07. 13.

Robotics and Sensor-Based Localization참고 문헌 37인용 수 15

한 줄 요약

HDMapNet는 카메라와 LiDAR와 같은 차량 내 센서에서 로컬 의미 맵을 학습하기 위한 새로운 프레임워크로, 조망도 시각에서 벡터화된 맵 요소를 예측한다. 융합된 센서 특징을 사용하여 nuScenes 데이터셋에서 기준 모델 대비 50퍼센트 이상의 성능 향상을 달성하였으며, 맵 학습을 위한 새로운 의미 수준 및 인스턴스 수준 평가 지표를 도입하였다.

ABSTRACT

Estimating local semantics from sensory inputs is a central component for high-definition map constructions in autonomous driving. However, traditional pipelines require a vast amount of human efforts and resources in annotating and maintaining the semantics in the map, which limits its scalability. In this paper, we introduce the problem of local semantic map learning, which dynamically constructs the vectorized semantics based on onboard sensor observations. Meanwhile, we introduce a local semantic map learning method, dubbed HDMapNet. HDMapNet encodes image features from surrounding cameras and/or point clouds from LiDAR, and predicts vectorized map elements in the bird's-eye view. We benchmark HDMapNet on nuScenes dataset and show that in all settings, it performs better than baseline methods. Of note, our fusion-based HDMapNet outperforms existing methods by more than 50% in all metrics. In addition, we develop semantic-level and instance-level metrics to evaluate the map learning performance. Finally, we showcase our method is capable of predicting a locally consistent map. By introducing the method and metrics, we invite the community to study this novel map learning problem. Code and evaluation kit will be released to facilitate future development.

연구 동기 및 목표

• 기존의 수동 애너테이션과 유지보수에 의존하는 전통적 고정밀도 맵 구축 방식의 확장성 한계를 해결한다.
• 실시간 센서 입력으로부터 동적으로 생성되는 벡터화된 맵 요소를 예측하는 로컬 의미 맵 학습 문제를 제기한다.
• 이미지와 포인트 클라우드 특징을 융합하여 조망도 시각에서 구조화되고 의미적인 맵 요소를 예측하는 통합 프레임워크인 HDMapNet을 개발한다.
• 맵 학습 성능을 객관적으로 평가하기 위해 새로운 의미 수준 및 인스턴스 수준 평가 지표를 제안한다.
• 실세계 주행 시나리오에서 국소적으로 일관되고 고품질의 맵 예측을 생성할 수 있는 능력을 입증한다.

제안 방법

• HDMapNet은 주변 카메라의 이미지와 LiDAR의 포인트 클라우드를 포함한 다중 모odal 센서 입력을 공유 특징 공간으로 인코딩한다.
• 시각적 및 기하학적 표현을 융합하여 환경의 의미 이해를 향상시키는 특징 융합 메커니즘을 적용한다.
• 학습 가능한 헤드 네트워크를 사용하여 조망도 시각 표현에서 벡터화된 맵 요소(예: 주행 가능한 영역, 차선선, 교통 표지판)를 예측한다.
• 차별가능한 벡터화 헤드가 조밀한 특징 맵을 후속 자율주행 작업에 적합한 이산적이고 구조화된 맵 요소로 변환한다.
• 다중 작업 학습 목표를 사용하여 여러 맵 요소 유형을 동시에 최적화함으로써 일반화 및 일관성 향상을 도모한다.
• 프레임워크는 실도시 주행 시퀀스에서의 종단간 성능에 중점을 두고 nuScenes 데이터셋을 사용하여 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 인간 애너테이션 맵 없이 원시 센서 데이터에서 직접적으로 벡터화된 의미 맵 요소를 효과적으로 예측할 수 있는가?
• RQ2 카메라와 LiDAR의 특징 융합이 모달별 기준 모델 대비 정확성과 견고성 향상에 어떻게 기여하는가?
• RQ3 제안된 의미 수준 및 인스턴스 수준 평가 지표가 학습된 국소 맵의 품질을 신뢰성 있게 평가하는 데 얼마나 효과적인가?
• RQ4 HDMapNet은 실시간 자율주행 응용에 적합한 국소적으로 일관된 맵 표현을 생성할 수 있는가?
• RQ5 기존 맵 구축 파이프라인 대비 종단간 맵 요소 학습에서 어떤 성능 향상을 달성할 수 있는가?

주요 결과

• HDMapNet은 nuScenes 데이터셋에서 모든 평가 지표에서 모든 기준 모델을 초월하며, 모든 설정에서 50퍼센트 이상의 성능 향상을 기록하였다.
• 융합 기반 버전의 HDMapNet이 가장 높은 성능을 기록하여, 시각적 및 LiDAR 특징을 융합함으로써 맵 학습에 효과적임을 입증하였다.
• 제안된 의미 수준 및 인스턴스 수준 평가 지표는 전통적 지표보다 맵 예측 품질 평가에 더 포괄적이고 신뢰할 수 있는 정보를 제공한다.
• HDMapNet은 차선과 주행 가능한 영역 등의 맵 요소 간 일관된 공간 관계를 유지하는 국소적으로 일관된 맵 표현을 성공적으로 생성하였다.
• 다양한 도시 주행 환경에서 잘 일반화되며, 복잡하고 동적인 환경에서도 높은 정확도를 유지를 하였다.
• 코드 및 평가 키트의 공개로 재현 가능성 확보와 함께 종단간 국소 의미 맵 학습 분야의 향후 연구를 촉진하였다.