[논문 리뷰] VectorMapNet: End-to-end Vectorized HD Map Learning

Yicheng Liu, Yuan, Tianyuan외 3명|arXiv (Cornell University)|2022. 06. 17.

Automated Road and Building Extraction인용 수 35

한 줄 요약

VectorMapNet은 온보드 센서에서 희소 폴리라인 집합을 BEV에서 예측하는 엔드-투-엔드 파이프라인을 제안하여 래스터화나 후처리 없이 벡터화된 HD 맵을 가능하게 하며, nuScenes와 Argoverse2에서 최첨단 mAP를 달성합니다.

ABSTRACT

Autonomous driving systems require High-Definition (HD) semantic maps to navigate around urban roads. Existing solutions approach the semantic mapping problem by offline manual annotation, which suffers from serious scalability issues. Recent learning-based methods produce dense rasterized segmentation predictions to construct maps. However, these predictions do not include instance information of individual map elements and require heuristic post-processing to obtain vectorized maps. To tackle these challenges, we introduce an end-to-end vectorized HD map learning pipeline, termed VectorMapNet. VectorMapNet takes onboard sensor observations and predicts a sparse set of polylines in the bird's-eye view. This pipeline can explicitly model the spatial relation between map elements and generate vectorized maps that are friendly to downstream autonomous driving tasks. Extensive experiments show that VectorMapNet achieve strong map learning performance on both nuScenes and Argoverse2 dataset, surpassing previous state-of-the-art methods by 14.2 mAP and 14.6mAP. Qualitatively, VectorMapNet is capable of generating comprehensive maps and capturing fine-grained details of road geometry. To the best of our knowledge, VectorMapNet is the first work designed towards end-to-end vectorized map learning from onboard observations. Our project website is available at \url{https://tsinghua-mars-lab.github.io/vectormapnet/}.

연구 동기 및 목표

• 오프라인 HD 맵의 확장성 문제를 극복하기 위해 온라인 HD 시맨틱 맵 학습의 필요성을 제시한다.
• 다양한 맵 기하학 및 방향을 포착하기 위해 폴리라인을 사용한 벡터화된 맵 표현을 제안한다.
• 밀집 분할이나 후처리 없이 BEV 특징으로부터 맵 요소를 탐지하고 폴리라인을 디코딩하는 엔드투엔드 아키텍처를 개발한다.
• 예측된 벡터 맵이 모션 예측와 같은 다운스트림 작업과의 호환성을 입증한다.

제안 방법

• 다중 모드 센서 입력(카메라 및 LiDAR)을 BEV 특징으로 변환하여 표준 BEV 표현을 형성한다.
• 학습 가능한 요소 질의(learnable element queries)를 갖춘 트랜스포머 기반 탐지기를 사용하여 요소 키 포인트 세트와 그 클래스들을 예측함으로써 맵 요소를 탐지한다.
• 자동회귀(autoregressive) 트랜스포머 기반 폴리라인 생성기를 통해 각 탐지된 요소를 폴리라인으로 디코딩하고, 순차적으로 폴리라인 정점을 예측한다.
• 폴리라인을 이산 정점 토큰의 시퀀스로 표현하여 엔드투엔드 학습을 가능하게 하고, 가변 길이 및 방향 인식 맵 요소를 구현한다.
• 감지기 이분 매칭 손실과 폴리라인 생성 음의 가능도 손실을 결합한 공동 손실로 학습한다(선생님 강제 여부에 따른 미세 조정 옵션 포함).
• 예측된 폴리라인을 실제 정답과 비교하기 위해 Chamfer 및 Fréchet 거리로 평가한다.

실험 결과

연구 질문

• RQ1 엔드투엔드 모델이 래스터화나 후처리 없이 온보드 센서 데이터로부터 직접 벡터화된 HD 맵을 생성하도록 학습할 수 있는가?
• RQ2 맵 요소를 폴리라인으로 표현하는 것이 래스터화된 맵보다 기하학적 정확성과 다운스트림 작업 호환성을 더 제공하는가?
• RQ3 제안된 DETR 유사 탐지기와 폴리라인 하류 디코딩이 카메라, LiDAR 및 융합 입력에서 표준 HD 맵 벤치마크에서 어떻게 성능을 보이는가?
• RQ4 키포인트 표현과 자동회귀 폴리라인 생성이 맵 정확도와 다운스트림 모션 예측에 미치는 영향은 무엇인가?

주요 결과

Method	AP ped	AP divider	AP boundary	mAP
STSU	7.0	11.6	16.5	11.7
HDMapNet (Camera)	14.4	21.7	33.0	23.0
HDMapNet (LiDAR)	10.4	24.1	37.9	24.1
HDMapNet (Fusion)	16.3	29.6	46.7	31.0
VectorMapNet (Camera)	36.1	47.3	39.3	40.9
VectorMapNet (Camera) + fine-tune	42.5	51.4	44.1	46.0
VectorMapNet (LiDAR)	25.7	37.6	38.6	34.0
VectorMapNet (Fusion)	37.6	50.5	47.5	45.2
VectorMapNet (Fusion) + fine-tune	48.2	60.1	53.0	53.7

• VectorMapNet은 입력 모달리티 전반에서 nuScenes에서 최첨단 mAP를 달성하며, Fusion은 53.7 mAP에 도달했고 다른 변형들도 기준보다 상당히 향상된다.
• nuScenes에서 VectorMapNet (Camera) + fine-tune은 46.0 mAP에 도달하고, VectorMapNet (Fusion)은 45.2 mAP에 도달하며, VectorMapNet (Fusion) + fine-tune은 53.7 mAP에 도달한다.
• STSU 및 HDMapNet 기준선과 비교하여 VectorMapNet은 mAP를 크게 향상시키며(예: nuScenes에서 HDMapNet Fusion 대비 +14.2 mAP, 다른 기준 대비 +14.6 mAP).
• 정성적 결과는 VectorMapNet이 뚜렷한 폴리라인 모서리를 유지하고 래스터 기반 방법에서 흔한 모호한 자기 루프를 피해 더욱 정확한 주행 가능 영역 추정이 가능함을 보여준다.
• 예측된 벡터 맵은 다운스트림 모션 예측을 의미 있게 개선하고, 궤적만 기반 기준선을 앞지르며 실제 HD 맵과의 성능에 근접한다.
• 모델은 중앙선을 폴리라인으로 취급하여 예측할 수 있어 벡터화 표현의 유연성을 보여준다.