[논문 리뷰] Heatmap-based Vanishing Point boosts Lane Detection

Yinbo Liu, Ming Zeng외 1명|arXiv (Cornell University)|2020. 07. 30.

Autonomous Vehicle Technology and Safety참고 문헌 21인용 수 11

한 줄 요약

이 논문은 어려운 주행 조건에서 차선 검출 정확도를 향상시키기 위해 히트맵 기반의 흐려지는 점(VP) 검출을 활용하는 다중 작업 융합 네트워크를 제안한다. ERFNet 기반의 특징 융합을 통해 차선 세그멘테이션과 VP 예측을 통합함으로써, CULane 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 야간, 그림자, 굴곡진 도로 환경에서 특히 뛰어난 성능을 보였다.

ABSTRACT

Vision-based lane detection (LD) is a key part of autonomous driving technology, and it is also a challenging problem. As one of the important constraints of scene composition, vanishing point (VP) may provide a useful clue for lane detection. In this paper, we proposed a new multi-task fusion network architecture for high-precision lane detection. Firstly, the ERFNet was used as the backbone to extract the hierarchical features of the road image. Then, the lanes were detected using image segmentation. Finally, combining the output of lane detection and the hierarchical features extracted by the backbone, the lane VP was predicted using heatmap regression. The proposed fusion strategy was tested using the public CULane dataset. The experimental results suggest that the lane detection accuracy of our method outperforms those of state-of-the-art (SOTA) methods.

연구 동기 및 목표

• 낮은 조도, 그림자, 굴곡진 차선과 같은 악조건에서 낮은 차선 검출 정확도 문제를 해결한다.
• 수작업 특징에 의존하여 제한된 내성적 특성을 지닌 전통적인 비딥러닝 방법의 한계를 극복한다.
• 딥러닝 기반 접근법에서 차선 검출 성능 향상을 위해 흐려지는 점(VP) 정보를 기하학적 사전 지식으로 통합한다.
• 추론 속도를 저하시키지 않으면서도 VP 검출과 차선 세그멘테이션을 원활하게 융합할 수 있는 종합적이고 엔드 투 엔드로 훈련 가능한 아키텍처를 개발한다.

제안 방법

• 도로 이미지에서 계층적 특징을 추출하기 위해 ERFNet을 백본 네트워크로 사용한다.
• 네트워크의 세그멘테이션 헤드를 통해 이미지 세그멘테이션 방식으로 차선 검출을 수행한다.
• ERFNet의 계층적 특징과 차선 검출 출력을 조합하여 히트맵 회귀를 적용해 흐려지는 점(VP)을 예측한다.
• 차선 검출 이후 VP 예측을 통합하는 다중 작업 융합 아키텍처(특히 LD-mid-VP 구조)를 활용하여 상호 감독을 가능하게 한다.
• VP 검출 정확도 평가 지표로 정규화된 유클리드 거리를 사용한다: $ \text{NormDist} = \frac{\|P_g - P_v\|}{\text{Diag}(I)} $, 여기서 $P_g$와 $P_v$는 각각 진짜값과 예측된 VP 좌표이다.
• 네 가지 융합 구조(LD-VP, VP-mid-LD, Parallel, LD-mid-VP)를 체계적으로 평가하여 공동 학습에 최적의 아키텍처를 규명한다.

실험 결과

연구 질문

• RQ1 히트맵 기반의 흐려지는 점 검출은 복잡한 주행 환경에서 차선 검출 정확도를 향상시키는가?
• RQ2 차선 세그멘테이션과 VP 예측을 융합하면 전체 검출 성능에 어떤 영향을 미치는가?
• RQ3 다중 작업 융합 아키텍처(예: LD-VP, LD-mid-VP) 중에서 정확도와 내성적 특성의 균형을 가장 잘 이루는 것은 무엇인가?
• RQ4 어두운 밤, 그림자, 굴곡진 도로와 같은 어려운 조건에서 VP 가이던스가 검출 오류를 얼마나 줄이는가?
• RQ5 VP 검출 기능 추가로 인해 추론 시간이나 모델 복잡도가 크게 증가하는가?

주요 결과

• 제안된 LD-mid-VP 융합 구조는 CULane 테스트 세트에서 전체 F1 측정치 74.2%를 기록하여 다른 구성보다 뛰어난 성능을 보였다.
• 야간 및 그림자 카테고리에서 각각 F1 점수 69.4%와 74.0%를 기록하여 저조도 및 가림 조건에서도 뛰어난 내성적 특성을 입증하였다.
• 백본으로 ResNet34를 사용했을 때 VP 검출 오차(NormDist)의 평균은 0.024049였으며, 예측치 중 5.79%가 진짜값과 0.01 이내에 위치하였다.
• VP 검출 기능 추가로 인해 추론 시간이 약 1ms만 증가하여 최소한의 계산 오버헤드를 유발하였다.
• ERFNet을 백본으로 사용했을 때 VP 가이던스로 F1 측정치가 1.1% 향상되었고, ResNet18를 사용했을 땐 최대 4.0% 향상되어 기하학적 사전 지식의 유용성을 확인하였다.
• 혼잡한 상황(Crowded, 72.3% F1)과 굴곡진 도로(Curve, 66.4% F1)에서도 강력한 성능 유지를 보이며, 비-VP 기반 기준 모델 대비 일관된 향상을 보였다.