[논문 리뷰] Decoupling the Curve Modeling and Pavement Regression for Lane Detection

Wencheng Han, Jianbing Shen|arXiv (Cornell University)|2023. 09. 19.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 곡선 모델링을 Bird's Eye View (BEV) 공간에서 지면 높이 회귀와 분리함으로써 불균일한 포장으로 인한 성능 저하 문제를 해결하는 새로운 차선 검출 프레임워크인 DecoupleLane을 제안한다. 매끄러운 차선 형태를 도로 표면의 변동과 별도로 모델링함으로써, 2D 및 3D 차선 검출 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하며, 기존의 곡선 기반 및 점 기반 접근 방식을 모두 능가한다.

ABSTRACT

The curve-based lane representation is a popular approach in many lane detection methods, as it allows for the representation of lanes as a whole object and maximizes the use of holistic information about the lanes. However, the curves produced by these methods may not fit well with irregular lines, which can lead to gaps in performance compared to indirect representations such as segmentation-based or point-based methods. We have observed that these lanes are not intended to be irregular, but they appear zigzagged in the perspective view due to being drawn on uneven pavement. In this paper, we propose a new approach to the lane detection task by decomposing it into two parts: curve modeling and ground height regression. Specifically, we use a parameterized curve to represent lanes in the BEV space to reflect the original distribution of lanes. For the second part, since ground heights are determined by natural factors such as road conditions and are less holistic, we regress the ground heights of key points separately from the curve modeling. Additionally, we have unified the 2D and 3D lane detection tasks by designing a new framework and a series of losses to guide the optimization of models with or without 3D lane labels. Our experiments on 2D lane detection benchmarks (TuSimple and CULane), as well as the recently proposed 3D lane detection datasets (ONCE-3Dlane and OpenLane), have shown significant improvements. We will make our well-documented source code publicly available.

연구 동기 및 목표

• 불균일한 포장으로 인해 시점 시각에서 차선의 외형이 비정상적으로 나타나는 것 때문에 곡선 기반 차선 검출의 성능 격차를 해소하기 위해.
• BEV 공간에서 차선의 본질적 기하학적 형태를 별도로 모델링하여 차선의 통합적 표현을 향상시키기 위해.
• 공유된 3D 차선 검출 헤드와 정규화를 통한 2D 감독을 사용하여 2D 및 3D 차선 검출을 하나의 프레임워크로 통합하기 위해.
• 더 나은 일반화 및 강인성을 위해 곡선 매개변수와 지면 높이를 별도로 회귀하는 분리된 헤드를 개발하기 위해.
• 2D (TuSimple, CULane) 및 3D (ONCE-3DLane, OpenLane) 차선 검출 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 차선 검출을 두 단계로 분해한다: (1) BEV 공간에서 다항식(3차)을 사용하여 본질적인 차선 형태를 표현하는 곡선 모델링.
• 특정 헤드를 통해 핵심 지점의 지면 높이를 별도로 회귀하며, 높이 변동을 국소적이고 통합적이지 않은 교란 요소로 간주한다.
• 카메라 내부 파rameters를 사용하여 3D 차선 좌표(X, Z, 높이)를 2D 이미지 공간으로 매핑하여 시점 시각 예측을 생성한다.
• 단일 3D 검출 헤드를 통해 2D 및 3D 검출을 통합하며, 2D 감독과 정규화 손실을 통해 평탄한 지면 높이 예측을 장려함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 곡선 및 높이 표현 간의 공간적 관계를 주목하기 위해 Curve/HeightFormer 모듈을 사용하여 특징 학습을 향상시킨다.
• 지면 높이 예측이 가능한 한 평탄하도록 제약을 주는 정규화 손실을 적용하여, 모델이 실제 도로의 비정상성에 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 왜 곡선 기반 차선 검출 방법은 통합적 표현을 갖추고 있음에도 불구하고 실제 데이터에서 성능이 열등한가?
• RQ2 지면 표면의 비정상성은 차선 기하학보다 얼마나 큰 영향을 미쳐 시점 시각에서의 피팅 오차를 유발하는가?
• RQ3 곡선 모델링을 지면 높이 회귀에서 분리하면 차선 검출 정확도와 강인성이 향상되는가?
• RQ4 2D 및 3D 차선 검출을 하나의 프레임워크로 통합하여 풍부한 2D 데이터를 활용해 3D 성능을 향상시킬 수 있는가?
• RQ5 2D 및 3D 차선 검출에서 최신 기술 수준 성능을 달성하기 위해 최적의 곡선 표현 및 헤드 설계는 무엇인가?

주요 결과

• DecoupleLane은 ONCE-3DLane 검증 세트에서 75.07%의 F1을 기록하여 이전의 모든 3D 차선 검출 방법을 능가한다.
• OpenLane에서 DecoupleLane은 51.2%의 mF1을 기록하여 PersFormer(50.5%) 및 CurveFormer(50.5%)와 같은 최신 기술 수준 방법들을 능가한다.
• 절단 실험 결과, DecoupleHead가 성능 향상에 가장 큰 기여를 하였으며, 기준 모델 대비 1.6% 향상되었다.
• 3차 다항식을 곡선 표현에 사용할 경우 성능과 효율성의 최적의 균형을 이룬다. 2차 및 4차 다항식보다 우수하다.
• Bézier 곡선은 DecoupleHead에서 다항식보다 성능 향상이 없음을 확인하여, 이 작업에 있어 다항식이 더 효과적임을 시사한다.
• 2D 감독과 정규화를 통한 통합 학습 프레임워크는 3D 레이블 없이도 강력한 3D 일반화 성능을 제공한다.