[논문 리뷰] Agnostic Lane Detection

Yuenan Hou|arXiv (Cornell University)|2019. 05. 02.

Autonomous Vehicle Technology and Safety참고 문헌 13인용 수 21

한 줄 요약

이 논문은 차선 검출을 인스턴스 세그멘테이션 작업으로 간주하는 무차별적(agnostic) 차선 검출 프레임워크를 제안한다. 이는 다양한 수의 차선과 차선 변경 상황에서도 견고한 성능을 보장한다. 다중 작업 학습(주행 가능한 영역 및 차선 점 회귀), 피처 피라미드, 경량 ENet 백본을 조합함으로써 실시간 추론을 달성하였으며, TuSimple 및 CULane 벤치마크에서 최신 기술 수준의 효율성과 경쟁 가능한 정확도를 확보하였다.

ABSTRACT

Lane detection is an important yet challenging task in autonomous driving, which is affected by many factors, e.g., light conditions, occlusions caused by other vehicles, irrelevant markings on the road and the inherent long and thin property of lanes. Conventional methods typically treat lane detection as a semantic segmentation task, which assigns a class label to each pixel of the image. This formulation heavily depends on the assumption that the number of lanes is pre-defined and fixed and no lane changing occurs, which does not always hold. To make the lane detection model applicable to an arbitrary number of lanes and lane changing scenarios, we adopt an instance segmentation approach, which first differentiates lanes and background and then classify each lane pixel into each lane instance. Besides, a multi-task learning paradigm is utilized to better exploit the structural information and the feature pyramid architecture is used to detect extremely thin lanes. Three popular lane detection benchmarks, i.e., TuSimple, CULane and BDD100K, are used to validate the effectiveness of our proposed algorithm.

연구 동기 및 목표

• 고정된 수의 차선을 가정하는 기존의 차선 검출 방법의 한계를 해결하기 위해, 차선 수가 변동하는 상황이나 차선 변경 시에도 실패하지 않는 방법을 제안한다.
• 가림, 어두운 조명, 모호한 마킹 등의 어려운 조건에서도 일반화 능력과 견고성을 향상시키기 위한 방법을 개선한다.
• 경량 네트워크 백본(ENet)과 효율적인 아키텍처 설계를 활용하여 실시간 추론을 달성한다.
• 다중 작업 학습을 통해 주행 가능한 영역과 퇴적점(vanishing points)으로부터의 구조적 및 맥락적 정보를 활용하여 차선 검출의 정확도를 높인다.
• 피처 피라미드 아키텍처를 통해 극히 얇은 차선의 검출을 가능하게 한다.

제안 방법

• 차선 검출을 두 가지 하위 작업으로 분해한다: 이진 세그멘테이션(차선 대 배경)과 인스턴스 분류(각 차선 픽셀을 고유한 차선 인스턴스에 할당하는 것).
• 다중 작업 학습 파라다임을 통해 세 개의 헤드를 통합한다: 이진 세그멘테이션, 주행 가능한 영역 검출, 차선 점 회귀로 구조적 인식 능력을 향상시킨다.
• 피처 피라미드 네트워크(FPN)는 백본에서 추출한 다중 해상도 피처를 융합하여 얇은 차선을 검출하는 데 사용된다.
• 실시간 성능를 확보하기 위해 ENet 백본을 채택하여 모델 파라미터 수와 추론 시간을 최소화한다.
• 픽셀 임베딩을 통해 인스턴스 수준의 예측을 생성한 후, 클러스터링을 통해 픽셀을 별개의 차선 인스턴스로 그룹화한다.
• 손실 함수는 세그멘테이션에 이진 교차 엔트로피, 인스턴스 분류에 패럴랙스 손실, 점 회귀에 스무스 L1 손실을 조합한다.

실험 결과

연구 질문

• RQ1 고정 클래스의 세분화된 세그멘테이션을 넘어서, 고정된 클래스 수를 가정하지 않고 차선 수의 변동성과 차선 변경 상황에 대비한 강건한 차선 검출이 가능한가?
• RQ2 주행 가능한 영역과 퇴적점으로부터의 구조적 및 맥락적 신호는 어떻게 차선 검출 성능을 향상시킬 수 있는가?
• RQ3 ENet와 같은 경량 네트워크가 복잡한 도심 주행 환경에서 실시간 추론을 수행하면서도 높은 정확도를 유지할 수 있는가?
• RQ4 피처 피라미드 아키텍처는 얇거나 끈적한 차선 마킹의 검출에 얼마나 기여하는가?
• RQ5 주행 가능한 영역과 차선 점의 공동 감독을 통한 다중 작업 학습은 일반화 능력과 견고성을 향상시키는가?

주요 결과

• TuSimple 벤치마크에서 제안된 ENet 기반 모델은 96.29%의 정확도를 달성하였으며, 파라미터 수가 0.98M에 불과함에도 불구하고 SCNN(96.53%)와 유사한 성능을 보였다.
• CULane에서 모델은 총합 F1-측정치 68.8%를 기록하였으며, 파라미터 효율성과 추론 속도 측면에서 ResNet-101(70.8%)과 SCNN(71.6%)를 모두 능가하였다.
• 모델은 뛰어난 추론 효율성을 보였으며, CULane에서의 평균 실행 시간은 13.4ms로, SCNN(133.5ms) 및 ResNet-101(171.2ms)보다 훨씬 빠르게 작동하였다.
• 야간(61.4%), 그림자(63.4%), 차선 없음 조건(42.9%) 등의 어려운 카테고리에서도 뛰어난 성능을 보였으며, 이는 시각적 열화에 대한 견고성을 시사한다.
• 제거 분석 결과, 주행 가능한 영역과 점 회귀를 통한 다중 작업 학습이 CULane의 모든 카테고리에서 성능 향상을 이끌었다.
• 피처 피라미드 아키텍처는 특히 혼잡하고 복잡한 환경에서 얇은 차선의 검출에 기여하였다.