[논문 리뷰] End-to-end Lane Shape Prediction with Transformers

Ruijin Liu, Zejian Yuan외 2명|arXiv (Cornell University)|2020. 11. 09.

Autonomous Vehicle Technology and Safety참고 문헌 21인용 수 9

한 줄 요약

이 논문은 전역적 맥락과 공간적 종속성을 포착하여 긴 얇은 차선 표시를 정확하게 검출할 수 있도록, 물리적으로 해석 가능한 차선 형상 모델의 매개변수를 직접 회귀하는 트랜스포머 기반 네트워크를 사용한 엔드 투 엔드 차선 형상 예측 방법을 제안한다. 이 방법은 TuSimple 벤치마크에서 가장 작은 모델 크기와 가장 빠른 추론 속도를 기록하며 최신 기술 수준(SOTA) 성능을 달성하였고, FVL이라는 도전적인 자체 수집 데이터셋에 대해서도 강력한 제로샷 일반화 성능을 보였다.

ABSTRACT

Lane detection, the process of identifying lane markings as approximated curves, is widely used for lane departure warning and adaptive cruise control in autonomous vehicles. The popular pipeline that solves it in two steps -- feature extraction plus post-processing, while useful, is too inefficient and flawed in learning the global context and lanes' long and thin structures. To tackle these issues, we propose an end-to-end method that directly outputs parameters of a lane shape model, using a network built with a transformer to learn richer structures and context. The lane shape model is formulated based on road structures and camera pose, providing physical interpretation for parameters of network output. The transformer models non-local interactions with a self-attention mechanism to capture slender structures and global context. The proposed method is validated on the TuSimple benchmark and shows state-of-the-art accuracy with the most lightweight model size and fastest speed. Additionally, our method shows excellent adaptability to a challenging self-collected lane detection dataset, showing its powerful deployment potential in real applications. Codes are available at https://github.com/liuruijin17/LSTR.

연구 동기 및 목표

• 두 단계로 나누어진 차선 검출 파이프라인의 효율성 부족과 전역 맥락 및 얇은 차선 구조를 포착하지 못하는 한계를 해결한다.
• CNN 기반 방법이 장거리 종속성 모델링과 차선 표시의 가림 현상 처리에 약한 점을 보완한다.
• 모바일 및 실시간 자율 주행 응용 분야에 적합한 경량화되고 효율적이며 구현 가능한 차선 검출 시스템을 개발한다.
• 새로운 환경, 특히 야간 풍경과 다양한 교통 조건에 대한 일반화 능력과 이식성을 향상시킨다.
• 물리적 도로 기하학과 카메라 자세 기반의 매개변수 기반 형식을 통해 출력의 해석 가능성을 보장한다.

제안 방법

• 카메라 자세와 도로 기하학에서 유도된 물리 기반 차선 형상 모델의 매개변수를 직접 회귀하는 방식으로 차선 검출 문제를 설정한다.
• 이미지 전역에서 비국소적이고 장거리 특징 상호작용을 모델링하기 위해 자기주의(self-attention) 메커니즘을 사용하는 트랜스포머 기반 인코더-디코더 네트워크를 설계한다.
• 예측값을 참값 차선에 일대일로 할당하기 위해 이중 매칭(bipartite matching)을 사용하는 허그리안 손실(Hungarian loss)을 적용하여 비최대 억제(NMS)가 필요 없도록 한다.
• 엔드 투 엔드 학습을 위한 앵커로 사용하기 위해 예측 곡선 헤드(7개)를 학습 가능한 것으로 설정하여 양성 및 음성 샘플 비율을 균형 잡는다.
• 다중 헤드 자기주의를 통해 공간적 및 맥락적 특징을 통합하여 얇고 길쭉한 차선 구조의 검출 능력을 향상시킨다.
• 차선 매개변수 회귀와 인스턴스 매칭을 동시에 최적화하는 가분한 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 엔드 투 엔드 네트워크는 기존의 두 단계 및 앵커 기반 방법보다 차선 검출 정확도를 뛰어넘을 수 있으며, 모델 크기와 추론 시간을 줄일 수 있는가?
• RQ2 물리적으로 해석 가능한 차선 형상 모델은 차선 검출 출력의 일반화 능력과 해석 가능성에 얼마나 기여하는가?
• RQ3 제안된 방법은 미세조정 없이도 야간 풍경과 다양한 도시 환경과 같은 새로운 환경에 얼마나 잘 일반화되는가?
• RQ4 검출 성능와 학습 효율성의 균형을 고려할 때 최적의 예측 곡선 헤드 수는 얼마인가?
• RQ5 자기주의 메커니즘이 얇고 가려진, 또는 굽은 차선 표시를 검출하기 위해 필요한 전역 맥락과 장거리 종속성을 효과적으로 포착하는가?

주요 결과

• 제안된 방법은 TuSimple 벤치마크에서 96.8%의 F1 스코어를 기록하여 최신 기술 수준의 정확도를 달성하였고, 비교된 모든 방법 중에서 가장 낮은 오진률과 가장 빠른 추론 속도를 기록하였다.
• 이 모델은 SOTA 방법 중에서 가장 작은 파라미터 수(150만 미만)를 기록하여 모바일 배포에 매우 적합하다.
• 자신이 수집한 Forward View Lane(FVL) 데이터셋에서, 미세조정 없이도 야간 풍경, 도심 교통, 다양한 기상 조건과 같은 도전적인 조건에 효과적으로 일반화되었다.
• 절단 분석 결과, 7개의 예측 곡선 헤드가 가장 우수한 성능를 보였으며, 이보다 적거나 많은 헤드 수는 일반화 및 피팅 정확도를 떨어뜨리는 것으로 확인되었다.
• 시각적 주의 맵은 디코더가 국소적 차선 구조에 집중하고 있음을 확인하였으며, 이는 후처리 없이도 직접적인 인스턴스 분리가 가능함을 의미한다.
• 일대일 매칭을 사용하는 허그리안 손실은 안정적인 학습을 가능하게 하며 비최대 억제가 필요 없게 하여 추론 파이프라인을 단순화시켰다.