[논문 리뷰] ABLaneNet

Zhengyang Feng|arXiv (Cornell University)|2022. 03. 04.

Autonomous Vehicle Technology and Safety인용 수 13

한 줄 요약

이 논문은 기하학적 표현과 최적화 안정성 향상을 위해 레인을 매개변수화된 Bézier 곡선으로 모델링하는 새로운 엔드 투 엔드 레인 검출 방법인 BézierLaneNet을 제안한다. 변형 가능 컨볼루션 기반의 특징 플립 퓨전을 활용해 시나리오의 대칭성을 이용함으로써, LLAMAS 벤치마크에서 최신 기술 수준(SoTA) 성능을 달성하였으며, 인fer 속도는 150 FPS 이상, 파라미터 수는 10M 이하로, 이전의 곡선 기반 및 세그멘테이션 기반 접근 방식을 모두 능가한다.

ABSTRACT

This paper presents a novel parametric curve-based method for lane detection in RGB images. Unlike state-of-the-art segmentation-based and point detection-based methods that typically require heuristics to either decode predictions or formulate a large sum of anchors, the curve-based methods can learn holistic lane representations naturally. To handle the optimization difficulties of existing polynomial curve methods, we propose to exploit the parametric Bézier curve due to its ease of computation, stability, and high freedom degrees of transformations. In addition, we propose the deformable convolution-based feature flip fusion, for exploiting the symmetry properties of lanes in driving scenes. The proposed method achieves a new state-of-the-art performance on the popular LLAMAS benchmark. It also achieves favorable accuracy on the TuSimple and CULane datasets, while retaining both low latency (> 150 FPS) and small model size (< 10M). Our method can serve as a new baseline, to shed the light on the parametric curves modeling for lane detection. Codes of our model and PytorchAutoDrive: a unified framework for self-driving perception, are available at: https://github.com/voldemortX/pytorch-auto-drive .

연구 동기 및 목표

• 세그멘테이션 기반 및 점 검출 기반 레인 검출 방법의 한계를 해결하기 위해, 히وري스틱, 앵커, 또는 순환 모듈에 의존하는 방법들은 지연 시간과 모델 크기를 증가시킨다.
• 매개변수화된 Bézier 곡선을 사용한 곡선 기반 접근 방식이 고속과 작은 모델 크기를 유지하면서도 최신 기술 수준 성능을 달성할 수 있는지 조사한다.
• 전방 주행 시나리오에서 레인 구조의 대칭성을 이용해 강한 인도티브 비스를 도입하지 않고도 특징 표현을 향상시킬 수 있는지 탐색한다.
• NMS나 앵커 기반 디코딩과 같은 후처리 단계를 피하는 엔드 투 엔드 학습 가능한 레인 검출기 개발.
• 다항식 곡선에 비해 Bézier 곡선이 최적화하기 더 안정적이고 자연스러운 기하학적 표현을 제공할 수 있음을 입증한다.

제안 방법

• 네 개의 제어점을 매개변수화한 삼차 Bézier 곡선을 사용해 레인 선을 모델링하며, 희소한 제안(예: 1장당 50개)에 대해 이항 매칭 손실을 통해 엔드 투 엔드 최적화를 가능하게 한다.
• 가벼운 ResNet-34 백본을 사용하고 순환 특징 집계나 앵커 생성과 같은 무거운 구성 요소를 회피함으로써 고속 추론(>150 FPS)을 달성한다.
• 특징 맵과 그 수평으로 뒤집힌 버전의 특징을 정렬하는 변형 가능 컨볼루션 기반의 특징 플립 퓨전 모듈을 제안하여 레인 레이아웃의 대칭성을 활용한다.
• 특성 표현의 일반화를 향상시키기 위해 강력한 데이터 증강(애핀 변환, 색상 왜곡, 무작위 플립)을 적용하며, 특히 곡선 기반 학습에서 데이터 편향 문제가 발생하기 쉬운 점을 고려한다.
• 보조 세그멘테이션 손실을 도입하여 특징 학습을 향상시키며, 이는 특징 융합과 함께 사용될 때에만 효과적이다.
• 계수에 직접 손실을 적용하는 대신 제어점에 기반한 샘플링 기반 손실을 사용함으로써 수치적 불안정성을 방지하고 최적화를 향상시킨다.

실험 결과

연구 질문

• RQ1 Bézier 곡선의 매개변수화된 표현 방식이 최적화의 안정성과 해석 가능성 향상으로 인해 다항식 곡선보다 레인 검출 성능에서 뛰어나지 않는가?
• RQ2 특징 플립 퓨전을 통해 시나리오의 대칭성을 활용하면 강한 인도티브 비스를 도입하지 않고도 레인 검출 성능 향상이 가능한가?
• RQ3 곡선 기반 방법이 낮은 지연 시간과 작은 모델 크기를 유지하면서도 세그멘테이션 및 점 기반 기준선을 능가하는 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ4 강력한 데이터 증강이 곡선 기반 레인 검출에서 과적합을 완화하는 데 얼마나 효과적인가, 특히 데이터 분포가 편향되어 있을 경우(예: 대부분 직선 레인)에?
• RQ5 특징 융합에 변형 가능 컨볼루션을 사용하면 카메라 회전이나 레인의 정렬 오류로 인한 완벽하지 않은 대칭성에 대해 강건성이 향상되는가?

주요 결과

• BézierLaneNet는 ResNet-34 백본을 사용하여 LLAMAS 벤치마크에서 새로운 최고 성능 F1 스코어 75.41을 달성하였으며, 이는 이전의 모든 방법을 능가한다.
• 모델은 1000만 개 미만의 파라미터로 150 FPS 이상의 속도로 실행되어 실시간 배포에 적합한 높은 효율성을 보였다.
• 곡선 기반 방법에서는 강력한 데이터 증강이 필수적이며, 이를 비활성화하면 성능 저하가 심각하게 발생한다(예: 증강 비활성화 시 LLAMAS에서 F1 스코어가 20.30% 감소).
• 특징 플립 퓨전 모듈은 보조 세그멘테이션 손실과 조합했을 때 성능을 2.45% 향상시켰으며, 동일한 설정에서 변형 가능 컨볼루션은 표준 컨볼루션보다 1.44% 높은 성능을 기록했다.
• 샘플링 손실을 직접 제어점 손실로 교체하면 성능이 5.15% 저하되며, 이는 제안된 학습 전략의 효과성을 확인한다.
• TuSimple(68.72 F1)과 CULane(커브 분할 기준 62.45 F1)에서도 우수한 정확도를 달성하여 곡선 분포가 편향된 데이터셋에서도 강건함을 입증했다.