[논문 리뷰] InstaGraM: Instance-level Graph Modeling for Vectorized HD Map Learning

Juyeb Shin, Hyeonjun Jeong외 2명|arXiv (Cornell University)|2023. 01. 10.

Advanced Neural Network Applications인용 수 9

한 줄 요약

InstaGraM은 BEV 공간에서 정점 포인트와 엣지 맵을 탐지하고 이를 인스턴스 수준 그래프와 연결하여 벡터화된 HD 맵 폴리라인 요소를 예측하는 엔드-투-엔드 CNN-GNN 파이프라인을 제시하며, 이전의 벡터화된 HD 맵 방법들보다 빠른 추론과 더 높은 mAP를 달성한다.

ABSTRACT

For scalable autonomous driving, a robust map-based localization system, independent of GPS, is fundamental. To achieve such map-based localization, online high-definition (HD) map construction plays a significant role in accurate estimation of the pose. Although recent advancements in online HD map construction have predominantly investigated on vectorized representation due to its effectiveness, they suffer from computational cost and fixed parametric model, which limit scalability. To alleviate these limitations, we propose a novel HD map learning framework that leverages graph modeling. This framework is designed to learn the construction of diverse geometric shapes, thereby enhancing the scalability of HD map construction. Our approach involves representing the map elements as an instance-level graph by decomposing them into vertices and edges to facilitate accurate and efficient end-to-end vectorized HD map learning. Furthermore, we introduce an association strategy using a Graph Neural Network to efficiently handle the complex geometry of various map elements, while maintaining scalability. Comprehensive experiments on public open dataset show that our proposed network outperforms state-of-the-art model by $1.6$ mAP. We further showcase the superior scalability of our approach compared to state-of-the-art methods, achieving a $4.8$ mAP improvement in long range configuration. Our code is available at https://github.com/juyebshin/InstaGraM.

연구 동기 및 목표

• 확장 가능한 자율주행을 위해 오프라인으로 미리 구축된 맵 없이 온라인 HD 맵 학습을 촉진한다.
• 기하학, 의미론, 그리고 인스턴스 정보를 결합한 HD 맵 요소(폴리라인)의 그래프 기반 벡터화 표현을 제안한다.
• 실시간 성능을 위한 엔드-투-엔드 네트워크(BEV 특성 추출, 요소 탐지, 그래프 기반 연결) 개발.
• 제안된 방법이 nuScenes에서 정확도와 속도 면에서 최첨단 벡터화 HD 맵 방법들을 능가함을 입증한다.

제안 방법

• 신경망 뷰 트랜스폼을 통해 다중 시점 이미지로부터 통합된 BEV 특징 추출을 사용한다.
• 정점 히트맵을 생성하기 위해 관심 포인트 디코더로 맵 요소 정점을 탐지한다.
• 방향 정보를 인코딩하기 위해 거리 변환 기반 엣지 디코더로 로컬 엣지 맵을 예측한다.
• 정점 임베딩과 로컬 엣지 정보를 이용해 초기 그래프를 구성한다.
• 주의(attentional) 그래프 신경망(SuperGlue 스타일)을 적용하여 Sinkhorn 기반 최적 매칭으로 인스턴스 수준 인접성을 예측한다.
• 정점 히트맵, 거리 변환, 인접성, 그리고 정점 분류에 대한 손실로 엔드-투-엔드로 학습한다.

실험 결과

연구 질문

• RQ1 다중 카메라 BEV 특징으로부터 인스턴스 수준 그래프 모델이 벡터화된 HD 맵 요소(폴리라인)를 효과적으로 재구성할 수 있는가?
• RQ2 거리 변환 기반 엣지 정보와 위치 임베딩의 도입이 맵 정점 간의 대응 및 인접성 예측을 개선하는가?
• RQ3 카메라 입력만으로 nuScenes에서 정확도(mAP)와 속도(FPS) 측면에서 InstaGraM은 기존 벡터화된 HD 맵 방법들과 어떻게 비교되는가?
• RQ4 BEV 변환 선택과 GNN 레이어 수가 전체 성능에 미치는 영향은 무엇인가?

주요 결과

Method	AP_divider	AP_ped	AP_boundary	mAP	FPS
InstaGraM (EffiNet-B0, 30 epochs)	40.8	30.0	39.2	36.7	20.3
InstaGraM (EffiNet-B4, 30 epochs)	47.2	33.8	44.0	41.7	18.2

• InstaGraM은 카메라 모듈에서 HDMapNet보다 더 높은 mAP를 달성하고 VectorMapNet에 비해 경쟁력 있는 성능을 보이며 추론 속도가 더 빠르다.
• EfficientNet-B4 백본으로 InstaGraM은 카메라 입력을 사용하여 nuScenes에서 mAP 41.7 및 18.2 FPS를 달성한다.
• EfficientNet-B0 백본으로 InstaGraM은 mAP 36.7 및 20.3 FPS를 달성한다.
• 거리 변환과 위치 임베딩은 그래프 연결 품질을 크게 향상시키며, 절차적 비교에서 시각적 디스크립터 기반 임베딩을 능가한다.
• GNN 레이어 수를 증가시키면 정확도가 약 7레이어를 중심으로 포화 지점에 도달하는 것으로 나타났으며(7을 넘는 지속적인 이득은 미미하다).
• 무거운 후처리 없이 엔드-투-엔드 벡터화 HD 맵 학습이 달성되어 실시간 성능을 가능하게 한다.