[논문 리뷰] MapTRv2: An End-to-End Framework for Online Vectorized HD Map Construction

Bencheng Liao, Shaoyu Chen외 6명|arXiv (Cornell University)|2023. 08. 10.

Data Management and Algorithms인용 수 7

한 줄 요약

MapTRv2는 지도 요소를 순열에 대해 동등한 방식으로 표현하는 새로운 순열-등가 모델링 접근법을 사용하여, 종단 간 실시간 벡터화된 고정밀 지도 구축 프레임워크를 제안한다. 이는 안정적이고 정확한 형태 학습을 가능하게 하며, 단일 GPU에서 실시간 추론 속도를 유지하면서 nuScenes에서 61.5 mAP, Argoverse2에서 62.6 mAP의 최신 기술 수준 성능을 달성한다.

ABSTRACT

High-definition (HD) map provides abundant and precise static environmental information of the driving scene, serving as a fundamental and indispensable component for planning in autonomous driving system. In this paper, we present extbf{Map} extbf{TR}ansformer, an end-to-end framework for online vectorized HD map construction. We propose a unified permutation-equivalent modeling approach, \ie, modeling map element as a point set with a group of equivalent permutations, which accurately describes the shape of map element and stabilizes the learning process. We design a hierarchical query embedding scheme to flexibly encode structured map information and perform hierarchical bipartite matching for map element learning. To speed up convergence, we further introduce auxiliary one-to-many matching and dense supervision. The proposed method well copes with various map elements with arbitrary shapes. It runs at real-time inference speed and achieves state-of-the-art performance on both nuScenes and Argoverse2 datasets. Abundant qualitative results show stable and robust map construction quality in complex and various driving scenes. Code and more demos are available at \url{https://github.com/hustvl/MapTR} for facilitating further studies and applications.

연구 동기 및 목표

• 고정밀 지도의 오프라인 구축 방식의 한계, 즉 높은 비용, 오래된 데이터, 국소화 오차 등을 해결한다.
• 특히 실시간 환경에서의 비효율성과 정확도 부족 문제를 해결하기 위해 기존의 온라인 벡터화된 고정밀 지도 방법의 한계를 극복한다.
• 임의의 형태를 가진 지도 요소를 고정밀도와 빠른 속도로 처리할 수 있는 통합된 종단 간 프레임워크를 개발한다.
• 실제 구현에서 흔히 발생하는 센서의 정렬 오차와 카메라의 기울임 현상에 대해 강건한 성능을 유도한다.
• 자율주행 시스템의 후속 계획 작업을 지원하기 위해 중심선 예측 기능을 통합한다.

제안 방법

• 형태의 모호성을 제거하고 학습을 안정화시키기 위해 각 지도 요소를 순열에 대해 동등한 집합으로 표현하는 점집합으로 모델링한다.
• 구조화된 지도 표현을 위해 인스턴스 수준 및 점 수준의 특징을 동시에 인코딩하는 계층적 쿼리 임베딩 기반 기법을 제안한다.
• 상호 인스턴스 및 내부 인스턴스의 어텐션을 분리함으로써 계산 비용을 감소시키기 위해 분리된 자기어텐션 메커니즘을 사용한다.
• 인스턴스 수준과 점 수준에서 모두 예측을 진짜 값에 할당하기 위해 계층적 이분 매칭을 구현한다.
• 수렴 속도를 향상시키고 정밀도를 높이기 위해 보조적인 일对다수 매칭 및 조밀한 감독 기법을 도입한다.
• 기하학적 일관성과 특징 학습을 향상시키기 위해 투시도 및 베이비즈뷰 모두에서 보조적인 전경 세그먼테이션을 적용한다.

실험 결과

연구 질문

• RQ1 형태의 기하학적 정확성과 동시에 순열에 대해 동등한 방식으로 표현함으로써 학습을 안정화시킬 수 있는 임의의 형태의 지도 요소 모델링 방법은 무엇인가?
• RQ2 복잡한 후처리 없이 종단 간 실시간 벡터화된 고정밀 지도 구축을 위한 최적의 아키텍처는 무엇인가?
• RQ3 제안된 순열-등가 모델링 기법은 자동회귀 또는 점 순서 기반 방법에 비해 일반화 능력과 강건성에서 어떻게 향상되는가?
• RQ4 카메라 외부 파rameter의 편이 등 실제 센서 노이즈가 발생할 경우, 이 프레임워크는 어느 정도의 내성적 저항성을 가지는가?
• RQ5 높은 정확도와 일관성으로 중심선과 같은 방향성 지도 요소를 포함시킬 수 있는가?

주요 결과

• MapTRv2는 nuScenes 데이터셋에서 61.5 mAP, Argoverse2에서는 2D 기준 62.6 mAP 및 3D 기준 61.4 mAP를 달성하여 정확도와 속도 면에서 기존 최신 기술 수준의 방법을 초월한다.
• 중심선 예측 기능을 추가함으로써 nuScenes에서 mAP가 54.0으로 상승하고 Argoverse2에서는 62.6으로 상승하여 방향성 지도 요소에 대한 강력한 일반화 능력을 입증한다.
• 카메라 편이에 대한 성능 유지가 뛰어나며, 0.1m 이동 노이즈 시 mAP는 58.0으로 떨어지며, 0.01rad 회전 노이즈 시에는 59.8로 유지된다.
• 실행 시간 분석 결과, 백본이 추론 시간의 59.8%를 차지하지만, 지도 디코더와 PV2BEV 모듈는 효율적이어서 RTX 3090에서 약 14.1 FPS의 실시간 추론이 가능하다.
• 제거 분석 결과, 6개의 Transformer 디코더 레이어가 정확도와 속도의 최적 균형을 이룹니다. 이 수준에서 mAP는 포화 상태에 도달한다.
• 정성적 결과는 복잡하고 다양한 주행 환경에서 안정적이고 정확한 지도 재구성과 주변 시점에서 정밀한 3D 벡터 렌더링을 보여준다.