[논문 리뷰] CondLaneNet: a Top-to-down Lane Detection Framework Based on Conditional Convolution

Lizhe Liu, Xiaohao Chen외 2명|arXiv (Cornell University)|2021. 05. 11.

Autonomous Vehicle Technology and Safety참고 문헌 38인용 수 16

한 줄 요약

CondLaneNet는 조건형 컨볼루션과 행별 포맷을 사용하여 인스턴스 수준의 구분 능력을 향상시키고, 밀도가 높거나 분岐한 라인과 같은 복잡한 레인 토폴로지 처리에 유리한 상하좌우 방식의 레인 검출 프레임워크이다. CULane에서 78.14의 F1 스코어와 220 FPS를 기록하여 최신 기술 수준의 성능을 달성하며, 높은 정확도와 실시간 효율성을 입증한다.

ABSTRACT

Modern deep-learning-based lane detection methods are successful in most scenarios but struggling for lane lines with complex topologies. In this work, we propose CondLaneNet, a novel top-to-down lane detection framework that detects the lane instances first and then dynamically predicts the line shape for each instance. Aiming to resolve lane instance-level discrimination problem, we introduce a conditional lane detection strategy based on conditional convolution and row-wise formulation. Further, we design the Recurrent Instance Module(RIM) to overcome the problem of detecting lane lines with complex topologies such as dense lines and fork lines. Benefit from the end-to-end pipeline which requires little post-process, our method has real-time efficiency. We extensively evaluate our method on three benchmarks of lane detection. Results show that our method achieves state-of-the-art performance on all three benchmark datasets. Moreover, our method has the coexistence of accuracy and efficiency, e.g. a 78.14 F1 score and 220 FPS on CULane. Our code is available at https://github.com/aliyun/conditional-lane-detection.

연구 동기 및 목표

• 딥러닝 기반 레인 검출에서 레인 인스턴스 수준의 구분 능력 향상 문제 해결.
• 고정된 인스턴스 수 계산 및 후처리 클러스터링의 한계를 극복하여, 밀도가 높거나 분岐한 라인과 같은 복잡한 레인 토폴로지 처리 가능.
• 최소한의 후처리를 포함한 엔드 투 엔드, 실시간 레인 검출 프레임워크 개발.
• 새로운 순환 인스턴스 모듈(RIM)을 활용해 복잡한 공간 구성의 레인 라인 검출 정확도 향상.

제안 방법

• 인스턴스 수준의 구분 능력을 향상시키기 위해 조건형 컨볼루션 기반의 조건형 레인 검출 전략 제안.
• 레인 라인 형태를 정밀하게 예측할 수 있도록 행별 포맷을 도입하여 인스턴스별 형태 예측 가능.
• 분기 및 밀도가 높은 라인과 같은 복잡한 토폴로지의 검출을 향상시키기 위해 순환 인스턴스 모듈(RIM) 도입.
• 맥락적 특징을 정밀하게 다듬고 제안 포인트 검출을 향상시켜 더 나은 레인 라인 국소화를 위한 트랜스포머 인코더 통합.
• 예측된 레인 포인트 정확도 향상을 위한 오프셋 맵을 통한 후처리 개선.
• 최소한의 후처리를 포함한 엔드 투 엔드 파이프라인 설계로 실시간 추론 가능.

실험 결과

연구 질문

• RQ1 딥러닝 기반 레인 검출에서 레인 인스턴스 수준의 구분 능력을 어떻게 향상시킬 수 있는가?
• RQ2 행별 포맷과 조건형 컨볼루션은 레인 형태 예측 정확도에 어떤 영향을 미치는가?
• RQ3 순환 모듈은 분기 및 밀도가 높은 라인과 같은 복잡한 레인 토폴로지를 효과적으로 모델링할 수 있는가?
• RQ4 트랜스포머 인코더는 제안 포인트 검출 및 전체 레인 정확도 향상에 기여하는가?
• RQ5 최소한의 후처리를 포함한 엔드 투 엔드 설계는 높은 정확도를 유지하면서 실시간 추론을 얼마나 잘 가능하게 하는가?

주요 결과

• CondLaneNet는 CULane 데이터셋에서 78.14의 F1 스코어와 220 FPS 성능을 기록하여 높은 정확도와 실시간 효율성을 입증한다.
• CurveLanes에서 모델은 86.10의 F1 스코어를 기록했으며, 이는 이전 최신 기술 수준보다 4.6% 높은 성능이다.
• 제거 실험 결과, 트랜스포머 인코더는 특히 소형 모델 버전에서 제안 포인트 검출을 향상시켜 제안 포인트 F1 스코어를 2.84% 향상시켰다.
• RIM을 추가함으로써 CurveLanes에서 기준 모델 대비 F1 스코어가 12.90점 향상되었으며, 이는 복잡한 토폴로지에 대한 효과성을 확인한다.
• 오프셋 맵과 트랜스포머 인코더 모두 성능 향상에 기여하며, 특히 제안 포인트 정확도 향상에 있어 후자가 특히 핵심적인 역할을 한다.
• 제거된 버전에서 표준 모델의 제안 히트맵을 복원함으로써 성능이 원래 수준에 가까워지며, 이는 인코더가 제안 품질을 정교하게 다듬는 데 핵심적인 역할을 한다는 것을 증명한다.