[논문 리뷰] InsMapper: Exploring Inner-instance Information for Vectorized HD Mapping

Zhenhua Xu, Kenneth K. Y. Wong외 1명|arXiv (Cornell University)|2023. 08. 16.

Geographic Information Systems Studies인용 수 6

한 줄 요약

InsightMapper는 예측된 지ap 점들 간의 내부 인스턴스 상관관계를 명시적으로 모델링함으로써 온라인 벡터화된 고해상도(HD) 지도 탐지에 대한 새로운 트랜스포머 기반 프레임워크를 제안한다. 하이브리드 쿼리 생성, 자기주도 어텐션을 통한 내부 인스턴스 쿼리 융합, 그리고 마스크된 내부 인스턴스 자기주도 어텐션 모듈을 도입하여 NuScenes에서 SOTA 대비 5.78 mAP 및 7.03 TOPO 향상을 달성하면서도 높은 학습 및 추론 효율성을 유지한다.

ABSTRACT

Vectorized high-definition (HD) maps contain detailed information about surrounding road elements, which are crucial for various downstream tasks in modern autonomous vehicles, such as motion planning and vehicle control. Recent works attempt to directly detect the vectorized HD map as a point set prediction task, achieving notable detection performance improvements. However, these methods usually overlook and fail to analyze the important inner-instance correlations between predicted points, impeding further advancements. To address this issue, we investigate the utilization of inner-instance information for vectorized high-definition mapping through transformers, and propose a powerful system named $ extbf{InsMapper}$, which effectively harnesses inner-instance information with three exquisite designs, including hybrid query generation, inner-instance query fusion, and inner-instance feature aggregation. The first two modules can better initialize queries for line detection, while the last one refines predicted line instances. InsMapper is highly adaptable and can be seamlessly modified to align with the most recent HD map detection frameworks. Extensive experimental evaluations are conducted on the challenging NuScenes and Argoverse 2 datasets, where InsMapper surpasses the previous state-of-the-art method, demonstrating its effectiveness and generality. The project page for this work is available at https://tonyxuqaq.github.io/InsMapper/ .

연구 동기 및 목표

• 기존의 벡터화된 HD 지도 탐지 방법들이 동일한 도로 요소 인스턴스 내 포인트 간 상관관계를 활용하지 못하는 한계를 해결하기 위해.
• 온라인 센서 기반 HD 지도 생성에서 토폴로지 정확도와 탐지 mAP를 향상시키기 위해.
• 학습 및 추론 모두에서 높은 효율성을 유지하여 자율주행 차량에서 실시간 배포가 가능하도록 하기 위해.
• 내부 인스턴스 정보가 지도 표현 및 예측 품질에 미치는 영향을 조사하기 위해.
• 복잡한 도심 환경에서 보다 우수한 일반화를 위한 내부 인스턴스 간 의존성을 명시적으로 모델링하는 트랜스포머 기반 아키텍처를 설계하기 위해.

제안 방법

• 상호 인스턴스 관계를 분리함으로써 내부 인스턴스 상관관계만을 유지하는 하이브리드 쿼리 생성 기법을 도입하여 쿼리 품질을 향상시킨다.
• 자기주도 어텐션을 사용하여 동일한 인스턴스의 쿼리 간 특징을 융합함으로써 표현 일관성을 향상시키는 내부 인스턴스 쿼리 융합 기법을 구현한다.
• 디코더에 마스크된 내부 인스턴스 자기주도 어텐션 모듈을 통합하여 각 인스턴스 내에서 집중적인 특징 융합을 가능하게 하며, 어텐션은 내부 인스턴스 포인트에 국한된다.
• 모델은 DETR와 유사한 두 단계 세트 예측 파라다임을 사용하지만, 지도 요소 내의 구조적 관계를 명시적으로 모델링하기 위해 수정된 방식을 적용한다.
• DETR 기반 모델의 엔드 투 엔드 미분 가능성과 효율성을 유지하면서도 인스턴스 인식 모델링 구성 요소를 추가한다.
• 프레임워크는 표준 mAP 및 토폴로지 정확도(TOPO) 메트릭을 사용하여 NuScenes 및 Argoverse-2 데이터셋에서 학습 및 평가된다.

실험 결과

연구 질문

• RQ1 예측된 지도 점들 간의 내부 인스턴스 상관관계를 모델링하는 것이 벡터화된 HD 지도 탐지 성능 향상에 상당한 기여를 할 수 있는가?
• RQ2 내부 인스턴스 의존성이 엔드 투 엔드 지도 탐지에서 토폴로지 정확도와 mAP에 어떤 영향을 미치는가?
• RQ3 인스턴스 특화된 관계를 유지하기 위해 최적의 객체 쿼리 생성 및 융합 방식은 무엇인가?
• RQ4 내부 인스턴스 포인트에 집중된 마스크된 자기주도 어텐션 메커니즘이 특징 표현 및 탐지 성능 향상에 기여하는가?
• RQ5 학습 또는 추론 효율성을 손상시키지 않고 이러한 인스턴스 인식 모델링을 달성할 수 있는가?

주요 결과

• InsightMapper는 NuScenes 검증 세트에서 48.31 mAP 및 51.58 TOPO를 달성하여 이전 SOTA 방법인 MapTR을 5.78 mAP 및 7.03 TOPO 초월한다.
• 제거 실험 결과 하이브리드 쿼리 생성이 단순 및 계층적 기법보다 뚜렷이 뛰어나며, 계층적 기반 대비 mAP 1.38 포인트, TOPO 1.42 포인트 향상됨.
• 자기주도 어텐션 기반 쿼리 융합이 최고의 성능(48.31 mAP, 51.58 TOPO)을 기록하며, 평균 융합 및 피드포워드 융합보다 뛰어남.
• 마스크된 내부 인스턴스 자기주도 어텐션 모듈은 핵심 요소이며, 이를 제거하면 mAP가 2.89 포인트 감소하고 TOPO는 2.39 포인트 감소함으로써 그 효과를 확인함.
• 모델은 높은 효율성을 유지하며, 추가 모듈이 있음에도 불구하고 학습 시간은 1 에포크당 0.01–0.03 시간 증가에 그치고, 추론 FPS는 MapTR과 동일함.
• Argoverse-2 데이터셋에서도 일관된 성능 향상이 관찰되었으며, 장면의 복잡도가 낮아지면서 폭이 작아졌지만, 이는 도메인 간 일반화 능력을 확인함.