[논문 리뷰] LATR: 3D Lane Detection from Monocular Images with Transformer

Yueru Luo, Chaoda Zheng외 5명|arXiv (Cornell University)|2023. 08. 08.

Advanced Neural Network ApplicationsComputer Science인용 수 3

한 줄 요약

LATR는 BEV와 같은 보조 3차원 표현을 사용하지 않고 단일 앞면 카메라 이미지에서 직접 3D 레인을 예측하는 Transformer 기반 아키텍처를 사용하는 엔드 투 엔드 3D 레인 검출 프레임워크를 제안한다. 레인 인식 쿼리와 동적 3D 지면 위치 임베딩을 도입하여 특징 정렬과 성능을 향상시키며, OpenLane에서 11.4 F1 점수 향상으로 최신 기준 성능을 달성한다.

ABSTRACT

3D lane detection from monocular images is a fundamental yet challenging task in autonomous driving. Recent advances primarily rely on structural 3D surrogates (e.g., bird's eye view) built from front-view image features and camera parameters. However, the depth ambiguity in monocular images inevitably causes misalignment between the constructed surrogate feature map and the original image, posing a great challenge for accurate lane detection. To address the above issue, we present a novel LATR model, an end-to-end 3D lane detector that uses 3D-aware front-view features without transformed view representation. Specifically, LATR detects 3D lanes via cross-attention based on query and key-value pairs, constructed using our lane-aware query generator and dynamic 3D ground positional embedding. On the one hand, each query is generated based on 2D lane-aware features and adopts a hybrid embedding to enhance lane information. On the other hand, 3D space information is injected as positional embedding from an iteratively-updated 3D ground plane. LATR outperforms previous state-of-the-art methods on both synthetic Apollo, realistic OpenLane and ONCE-3DLanes by large margins (e.g., 11.4 gain in terms of F1 score on OpenLane). Code will be released at https://github.com/JMoonr/LATR .

연구 동기 및 목표

• 보조 시야 방법에서 사용하는 역직선 투영(IPM)으로 인한 3D 레인 검출의 정렬 오류 문제를 해결한다.
• 중간 단계의 3D 보조 표현(예: BEV)이 필요 없도록 하여 특징 정렬과 효율성을 향상시킨다.
• 동적으로 업데이트되는 3D 지면을 활용해 2D 앞면 특징에 3D 공간 사전 지식을 효과적으로 통합함으로써 3D 레인 검출 정확도를 향상시킨다.
• 레인 수준 및 포인트 수준의 공간 특징을 모두 포착하는 쿼리 기반 검출 기반을 개발하여 일반화 능력을 향상시킨다.
• 깊이 추정 또는 깊이 감독 없이도 여러 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

제안 방법

• 레인 수준 및 포인트 수준 임베딩을 융합하여 공간적 및 의미적 사전 지식이 향상된 쿼리 표현을 생성하는 레인 인식 쿼리 생성기를 도입한다.
• 실제 도로 기하학에 맞게 반복적으로 개선되는 가설적 3D 지면을 반영하는 동적 3D 지면 위치 임베딩 메커니즘을 활용한다.
• 학습된 쿼리와 3D 인식 특징 간의 크로스 어텐션을 사용하여 앞면 공간에서 직접 3D 레인 좌표를 예측한다.
• 반복적으로 업데이트되는 3D 지면에 2D 이미지 픽셀을 투영하여 3D 위치 임베딩을 구성함으로써 2D-3D 특징 정렬을 가능하게 한다.
• 멀티헤드 크로스 어텐션을 갖춘 Transformer 디코더를 적용하여 맥락을 통합하고, 세트 예측 헤드를 통해 3D 레인 예측을 생성한다.
• 2D 특징 맵과 3D 위치 정보를 융합하는 하이브리드 임베딩 전략을 활용하여 쿼리 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 BEV와 같은 보조 3차원 공간으로 특징을 변환하지 않고도 앞면 이미지에서 효과적으로 3D 레인 검출을 수행할 수 있는가?
• RQ2 2D 앞면 특징에 3D 공간 사전 지식을 효과적으로 통합하여 3D 레인 정렬 정확도를 향상시킬 수 있는가?
• RQ3 레인 수준 및 포인트 수준 임베딩을 모두 포함한 레인 인식 쿼리의 영향은 검출 성능에 어떤가?
• RQ4 고정 평면 또는 프리즘 기반 대안에 비해 동적 3D 지면 위치 임베딩은 특징 정렬과 정확도 측면에서 어떤가?
• RQ5 엔드 투 엔드, 앵커 기반, NMS 기반의 Transformer 아키텍처가 실제 3D 레인 검출 벤치마크에서 기존 방법을 초월할 수 있는가?

주요 결과

• OpenLane 데이터셋에서 LATR는 이전 최신 기준 성능 대비 11.4 점의 절대 F1 점수 향상을 기록하며 70.4 F1을 달성했다.
• ApolloScape 데이터셋에서 LATR는 이전 방법 대비 F1 점수를 4.3 포인트 향상시켜 61.5 F1을 기록했다.
• ONCE-3DLanes 데이터셋에서 LATR는 F1 점수를 6.26 포인트 향상시켜 다양한 실제 환경에서의 강력한 일반화 능력을 입증했다.
• 제거 실험 결과, 쿼리에 레인 수준 및 포인트 수준 임베딩을 모두 통합할 경우(70.4 F1) 레인 수준 쿼리만 사용할 경우(66.5 F1)보다 뛰어난 성능을 기록함을 확인했다.
• 고정 평면 및 프리즘 기반 대안에 비해 동적 3D 지면 위치 임베딩이 더 뛰어난 성능을 보였으며, 70.4 F1 점수와 낮은 X 및 Z 오차를 기록했다.
• 복잡한 도로 기하학성에 대해 뛰어난 강인성을 보이며, 오르막/내리막 경사와 같은 도전적인 조건에서도 높은 정확도를 유지했다.