[논문 리뷰] CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending

Hang Xu, Shaoju Wang외 4명|arXiv (Cornell University)|2020. 07. 23.

Autonomous Vehicle Technology and Safety참고 문헌 35인용 수 21

한 줄 요약

CurveLane-NAS는 곡선 차선 검출을 위한 유일한 신경망 아키텍처 탐색 프레임워크를 제안하며, 백본 설계, 특징 융합, 적응형 포인트 블렌딩을 종합적으로 최적화한다. CULane에서 74.8%의 F1 스코어와 새로운 CurveLanes 벤치마크에서 81.12%의 성능을 기록하여 기존 방법들에 비해 도전적인 곡선 차선에서 뚜렷한 승리를 거두었다.

ABSTRACT

We address the curve lane detection problem which poses more realistic challenges than conventional lane detection for better facilitating modern assisted/autonomous driving systems. Current hand-designed lane detection methods are not robust enough to capture the curve lanes especially the remote parts due to the lack of modeling both long-range contextual information and detailed curve trajectory. In this paper, we propose a novel lane-sensitive architecture search framework named CurveLane-NAS to automatically capture both long-ranged coherent and accurate short-range curve information while unifying both architecture search and post-processing on curve lane predictions via point blending. It consists of three search modules: a) a feature fusion search module to find a better fusion of the local and global context for multi-level hierarchy features; b) an elastic backbone search module to explore an efficient feature extractor with good semantics and latency; c) an adaptive point blending module to search a multi-level post-processing refinement strategy to combine multi-scale head prediction. The unified framework ensures lane-sensitive predictions by the mutual guidance between NAS and adaptive point blending. Furthermore, we also steer forward to release a more challenging benchmark named CurveLanes for addressing the most difficult curve lanes. It consists of 150K images with 680K labels.The new dataset can be downloaded at github.com/xbjxh/CurveLanes (already anonymized for this submission). Experiments on the new CurveLanes show that the SOTA lane detection methods suffer substantial performance drop while our model can still reach an 80+% F1-score. Extensive experiments on traditional lane benchmarks such as CULane also demonstrate the superiority of our CurveLane-NAS, e.g. achieving a new SOTA 74.8% F1-score on CULane.

연구 동기 및 목표

• 원격 또는 가림 지역에서 곡선 차선에 대해 현재의 차선 검출 모델이 갖는 낮은 내성적 안정성 문제를 해결한다.
• 장거리 맥락과 단거리 곡선 세부 정보 간의 균형을 이루지 못하는 수작업으로 설계된 아키텍처의 한계를 극복한다.
• 곡선 감지에 민감한 검출을 위해 백본, 특징 융합, 후처리를 종합적으로 최적화하는 통합 탐색 프레임워크를 개발한다.
• 실제 조건에서 곡선 차선 검출을 보다 잘 평가하기 위해 새로운 대규모 벤치마크인 CurveLanes를 구축한다.
• CULane와 TuSimple 등의 데이터셋 간에 검색된 아키텍처의 이식 가능성을 확보하여 일반화 능력과 효율성을 향상시킨다.

제안 방법

• 세 가지 탐색 모듈(탄성 백본 탐색, 특징 융합 탐색, 적응형 포인트 블렌딩)을 갖춘 다목적 NAS 파이프라인을 제안한다.
• 다양한 가중치를 사용해 다중 스케일 예측을 개선하는 적응형 포인트 블렌딩 모듈을 도입한다.
• 전역 일관성과 국소 곡선 정확도를 모두 포착하기 위해 다중 수준 예측 헤드와 계층적 특징 융합을 조합한 탐색 공간을 설계한다.
• 다양한 모델 버전(CurveLane-S, M, L)에서 정확도, FLOPS, 지연 시간을 균형 있게 조절하기 위해 파레토 최적 기반의 탐색 전략을 사용한다.
• 컨트롤러 네트워크를 활용해 아키텍처와 후처리 구성 요소를 동시에 최적화하는 가변 가능 탐색 전략을 구현한다.
• 실제 곡선 차선 조건에서 프레임워크를 훈련 및 평가하기 위해 새로운 대규모 데이터셋인 CurveLanes(15만 장, 680만 개 레이블)를 활용한다.

실험 결과

연구 질문

• RQ1 통합 NAS 프레임워크가 백본 아키텍처, 특징 융합, 후처리를 동시에 최적화하여 곡선 차선 검출 성능을 향상시킬 수 있는가?
• RQ2 표준 NMS에 비해 적응형 포인트 블렌딩이 곡선 및 원거리 차선 세그먼트 유지에 얼마나 효과적인가?
• RQ3 제안된 CurveLane-NAS가 CULane와 TuSimple 등의 다양한 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ4 고밀도 곡선 차선을 포함한 벤치마크에서 SOTA 기법과 CurveLane-NAS 간의 성능 격차는 어느 정도인가?
• RQ5 다중 수준 헤드와 특징 융합과 같은 아키텍처 구성 요소가 검출 정확도와 효율성에 기여하는 정도는 어떠한가?

주요 결과

• CurveLane-NAS는 CULane 벤치마크에서 기존 방법들보다 1.5~1.9점 높은 신뢰도 74.8%의 F1 스코어를 기록하여 새로운 SOTA 성능을 달성했다.
• 새로운 CurveLanes 벤치마크에서 CurveLane-S는 81.12%의 F1 스코어를 기록했으며, SCNN 대비 16% 향상되었고, SCNN는 20~30% 성능 저하를 겪었다.
• 가장 큰 아키텍처를 가진 CurveLane-L은 R101-SAD 대비 FLOPS를 4.5배 줄였고, F1 스코어는 1.3점 향상시켰다.
• 절단 분석 결과, 적응형 포인트 블렌딩이 큰 모델에서 성능을 최대 1.3점 향상시키며, 특히 원거리 및 곡선 차선 검출에서 뚜렷한 개선 효과를 보였다.
• 검색된 아키텍처는 강력한 이식 가능성을 보였다. TuSimple에 적용했을 때 SCNN와 유사한 성능을 달성했지만 FLOPS가 크게 낮았다.
• 정성적 결과는 야간 주행, 비오는 도로, 큰 곡률을 가진 차선과 같은 도전적인 상황에서도 뛰어난 내성적 안정성을 입증했다.