[논문 리뷰] Towards Lightweight Lane Detection by Optimizing Spatial Embedding

Seokwoo Jung, Sungha Choi외 2명|arXiv (Cornell University)|2020. 08. 19.

Autonomous Vehicle Technology and Safety참고 문헌 11인용 수 13

한 줄 요약

이 논문은 CNN의 이동 불변성 한계를 극복하기 위해 이미지 좌표를 직접 최적화하여 공간 임베딩을 최적화하는 방식으로, 제안 없이 실시간으로 작동하는 경량화된 레인 감지 방법을 제안한다. 중심 예측과 빠른 군집화를 통해 후처리를 단순화함으로써 실시간 레인 감지가 가능해지며, 경량 기반 모델과 함께 빠른 반복적 후처리를 통해 상태 기준 성능을 달성하면서도 추론 시간을 크게 단축시켰다. 이는 이전 방법들보다 빠르고 효율적이다.

ABSTRACT

A number of lane detection methods depend on a proposal-free instance segmentation because of its adaptability to flexible object shape, occlusion, and real-time application. This paper addresses the problem that pixel embedding in proposal-free instance segmentation based lane detection is difficult to optimize. A translation invariance of convolution, which is one of the supposed strengths, causes challenges in optimizing pixel embedding. In this work, we propose a lane detection method based on proposal-free instance segmentation, directly optimizing spatial embedding of pixels using image coordinate. Our proposed method allows the post-processing step for center localization and optimizes clustering in an end-to-end manner. The proposed method enables real-time lane detection through the simplicity of post-processing and the adoption of a lightweight backbone. Our proposed method demonstrates competitive performance on public lane detection datasets.

연구 동기 및 목표

• 컨volution의 이동 불변성으로 인해 발생하는 제안 없이 실시간으로 작동하는 레인 감지를 위한 픽셀 임베딩 최적화 문제를 해결하기 위해.
• 직접 중심 예측과 빠른 군집화를 통해 후처리를 단순화하여 실시간 레인 감지 구현을 가능하게 하기 위해.
• 공간 임베딩 공간에 이미지 좌표 정보를 통합하여 임베딩 최적화를 향상시키기 위해.
• 경량 기반 모델을 사용하여 임베딩된 환경에 적합한 경쟁력 있는 성능을 달성하기 위해.

제안 방법

• 계산 비용과 메모리 트래픽을 줄이기 위해 FCHarDNet을 경량 기반 모델로 사용한다.
• 두 개의 분기 구조를 도입한다: 하나는 각 레인 인스턴스 중심을 추정하기 위한 오프셋 맵(ox, oy) 예측을 담당하고, 다른 하나는 군집화 신뢰도(S 맵)와 대역폭(σ 맵) 예측을 담당한다.
• 공간 임베딩 e_i는 e_i = [x + o^x; y + o^y]로 정의되며, x와 y는 픽셀 좌표이다. 이는 이동 불변성을 완화하는 좌표 인식 임베딩을 가능하게 한다.
• 임베딩 손실은 배경 픽셀의 간섭을 방지하기 위해 배경이 아닌 전경 픽셀에만 Lovasz-hinge 손실을 적용한다.
• σ_k의 과도한 추정을 방지하기 위해 과도한 마진 증가를 방지하는 대역폭 포화 손실을 도입한다.
• 군집 간 간격 확보 손실과 샘플링 손실을 사용하여 추론 중 군집 분리도와 중심 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 이미지 좌표 기반 공간 임베딩이 제안 없이 실시간 레인 감지에서 픽셀 임베딩 최적화에 기여하는가?
• RQ2 좌표 정보를 통합함으로써 컨volution의 이동 불변성이 레인 임베딩 학습에 악영향을 미치는 것을 어떻게 완화할 수 있는가?
• RQ3 경량 기반 모델과 단순화된 후처리를 조합하여 정확도를 유지하면서도 실시간 성능을 달성할 수 있는가?
• RQ4 전체 이미지 손실 대비 전경 픽셀 전용 손실이 수렴성과 군집 품질 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 TuSimple 벤치마크에서 96.58%의 정확도를 달성하여 기준 모델(96.42%)을 초월했으며, 거짓 경고와 거짓 부재를 줄였다.
• 경량 기반 모델과 빠른 반복적 후처리를 통해 V100 GPU에서 추론 시간이 단 3.20ms로 기준 모델의 DBSCAN 대비 6.64ms보다 크게 향상되었다.
• 좌표 인식 공간 임베딩 덕분에 긴 얇은 레인 구조와 가림 현상 처리에서 뛰어난 성능을 보였다.
• 절단 분석 결과, 공간 임베딩, 전경 전용 손실, 대역폭 포화, 군집 간 간격 확보 손실을 조합함으로써 정확도와 강인성이 모두 향상됨을 확인했다.