[논문 리뷰] LaneSegNet: Map Learning with Lane Segment Perception for Autonomous Driving

Tianyu Li, Peijin Jia외 5명|arXiv (Cornell University)|2023. 12. 26.

Autonomous Vehicle Technology and Safety인용 수 10

한 줄 요약

LaneSegNet은 지오메트리와 토폴로지를 결합하여 차선 구간을 공동으로 예측하는 엔드-투-엔드 지도 학습 접근 방식인 차선 구간 인식(lane segment perception)을 도입하여 OpenLane-V2에서 실시간 속도로 최신 결과를 달성합니다.

ABSTRACT

A map, as crucial information for downstream applications of an autonomous driving system, is usually represented in lanelines or centerlines. However, existing literature on map learning primarily focuses on either detecting geometry-based lanelines or perceiving topology relationships of centerlines. Both of these methods ignore the intrinsic relationship of lanelines and centerlines, that lanelines bind centerlines. While simply predicting both types of lane in one model is mutually excluded in learning objective, we advocate lane segment as a new representation that seamlessly incorporates both geometry and topology information. Thus, we introduce LaneSegNet, the first end-to-end mapping network generating lane segments to obtain a complete representation of the road structure. Our algorithm features two key modifications. One is a lane attention module to capture pivotal region details within the long-range feature space. Another is an identical initialization strategy for reference points, which enhances the learning of positional priors for lane attention. On the OpenLane-V2 dataset, LaneSegNet outperforms previous counterparts by a substantial gain across three tasks, extit{i.e.}, map element detection (+4.8 mAP), centerline perception (+6.9 DET$_l$), and the newly defined one, lane segment perception (+5.6 mAP). Furthermore, it obtains a real-time inference speed of 14.7 FPS. Code is accessible at https://github.com/OpenDriveLab/LaneSegNet.

연구 동기 및 목표

• 지오메트리, 의미론, 토폴로지를 온라인 HD 맵 학습에 통합하는 일관된 차선 구간 표현을 동기 부여한다.
• 지오메트리, 의미론, 차선 그래프 연결성을 예측하는 엔드-투-엔드 네트워크(LaneSegNet)를 개발한다.
• 장거리 및 지역 특징 학습을 개선하기 위해 두 가지 새로운 디코더 개선—헤드-대-리전 간 차선 주의(lane attention with heads-to-regions)와 참조점의 동일한 초기화—를 도입한다.
• LaneSegNet가 차선 구간 인식이 OpenLane-V2에서 맵 요소 인식, 중심선 인식, 그리고 새로운 차선 구간 인식 작업을 개선함을 입증한다.
• LaneSegNet가 다중 가지 기반 기법 대비 실시간 FPS 및 대기 시간 감소 등 우수한 효율성을 제공함을 보인다.

제안 방법

• 센터선과 차선 경계선을 결합한 일원화된 맵 표현으로 차선 구간 인식을 제안한다.
• BEV 특징용 인코더와 헤드-대-리전 메커니즘이 있는 차선 주의(lane attention)를 특징으로 하는 디코더를 갖춘 LaneSegNet를 도입한다.
• 위치 priors 학습을 안정시키기 위해 첫 번째 디코더 층에서 참조점의 동일한 초기화를 사용한다.
• 지오메트리(센터라인, 좌/우 경계선), 인스턴스 마스크, 차선 유형, 차선 그래프 토폴로지에 대한 여러 MLP 분기를 통해 차선 구간을 예측한다.
• 지오메트리(맨해튼 거리), 세그먼트 마스크(CE + dice), 차선 유형, 토폴로지(인접성에 대한 focal loss)에 대한 손실을 사용하여 헝가리안 매칭(DETR 유사)으로 학습한다.
• 세 가지 작업에 대해 OpenLane-V2에서 평가 프로토콜을 채택한다: 맵 요소 인식, 중심선 인식, 그리고 차선 구간 인식。

실험 결과

연구 질문

• RQ1 온라인 HD 맵 학습을 위한 기하학적 및 토폴로지적 도로 정보를 포착하는 단일 표현으로서 차선 구간이 작동할 수 있는가?
• RQ2 차선 구간 기반 네트워크가 탐지, 토폴로지 추론, 새로운 차선 구간 인식 지표에서 중심선 또는 맵 요소 기반 접근법보다 우수한가?
• RQ3 제안된 차선 주의 및 동일 초기화 전략이 elongated 차선 구조의 장거리 학습 및 로컬 세부 정보 보존을 개선하는가?
• RQ4 LaneSegNet의 효율성과 정확도는 단일-브랜치 또는 다중-브랜치 기법 대비 어떤 trade-off가 있는가?
• RQ5 LaneSegNet가 관심 세 가지 작업에 대해 OpenLane-V2 데이터셋으로 얼마나 잘 일반화되는가?

주요 결과

방법	mAP ↑	AP ls ↑	AP ped ↑	TOP lsls ↑	AE type ↓	AE dist ↓	FPS
TopoNet	23.0	23.9	22.0	1.0	-	0.769	10.5
MapTR	27.0	25.9	28.1	-	-	0.695	14.5
MapTRv2	28.5	26.6	30.4	-	-	0.702	13.6
LaneSegNet-tiny	28.5	28.2	28.7	6.8	10.6	0.710	16.2
LaneSegNet	32.6	32.3	32.9	8.1	9.2	0.673	14.7

• LaneSegNet은 차선 구간 인식에서 더 높은 mAP(32.6)를 달성하고 좌/우 경계에 대한 AP(32.3/32.9)를 향상시키며 베이스라인과 비교해 향상된 성능을 보인다.
• LaneSegNet은 더 나은 토폴로지 추론(TOP lsls = 8.1) 및 유형/거리 오차가 낮다(AE type = 9.2, AE dist는 행에 명시되지 않았지만 포함)
• LaneSegNet-tiny는 16.2 FPS에서 차선 구간 태스크 mAP 28.5를 달성, 정확도-속도 무역오를 우호적으로 보여준다.
• 맵 요소 인식에서 LaneSegNet은 27.5 mAP에 도달, lane-segment 라벨로 재학습된 VectorMapNet 및 MapTR 변형보다 우수하다.
• 센터라인 인식에서 LaneSegNet은 31.8 DET l 및 7.6 TOP ll를 보고, 위치 추정 및 토폴로지 추론에서 이전 방법을 능가한다.
• LaneSegNet은 실시간 추론 속도 14.7 FPS를 보이고 다중-브랜치 베이스라인 대비 디코더 대기 시간을 31.4% 감소시킨다.