[논문 리뷰] RESA: Recurrent Feature-Shift Aggregator for Lane Detection

Zhengkai Tu, Hao Fang외 5명|arXiv (Cornell University)|2020. 08. 31.

Autonomous Vehicle Technology and Safety참고 문헌 27인용 수 27

한 줄 요약

이 논문은 수직 및 수평 방향으로 반복적으로 특징 맵을 이동시키고 집계하여 장거리 공간적 종속성을 포착함으로써 차선 검출을 향상시키는 Recurrent Feature-Shift Aggregator(RESA)를 제안한다. 이는 CULane에서 75.3의 F1 측정치와 Tusimple에서 96.8%의 정확도를 기록하며 최신 기술 수준(SOTA) 성능을 달성한다. 이는 차선 형태 사전 지식을 효과적으로 모델링하고, 특징 간 병렬적이고 효율적인 전파를 가능하게 하여 달성된다.

ABSTRACT

Lane detection is one of the most important tasks in self-driving. Due to various complex scenarios (e.g., severe occlusion, ambiguous lanes, etc.) and the sparse supervisory signals inherent in lane annotations, lane detection task is still challenging. Thus, it is difficult for the ordinary convolutional neural network (CNN) to train in general scenes to catch subtle lane feature from the raw image. In this paper, we present a novel module named REcurrent Feature-Shift Aggregator (RESA) to enrich lane feature after preliminary feature extraction with an ordinary CNN. RESA takes advantage of strong shape priors of lanes and captures spatial relationships of pixels across rows and columns. It shifts sliced feature map recurrently in vertical and horizontal directions and enables each pixel to gather global information. RESA can conjecture lanes accurately in challenging scenarios with weak appearance clues by aggregating sliced feature map. Moreover, we propose a Bilateral Up-Sampling Decoder that combines coarse-grained and fine-detailed features in the up-sampling stage. It can recover the low-resolution feature map into pixel-wise prediction meticulously. Our method achieves state-of-the-art results on two popular lane detection benchmarks (CULane and Tusimple). Code has been made available at: https://github.com/ZJULearning/resa.

연구 동기 및 목표

• 심한 가림, 모호한 마킹, 희박한 감독 데이터 등 복잡한 상황에서의 차선 검출 과제를 해결한다.
• 희박한 애너테이션과 얇은 차선 구조로 인해 표준 CNN이 장거리 공간적 관계와 미세한 차선 특징을 포착하는 데 한계를 가진다는 점을 극복한다.
• 중요한 계산 비용 증가 없이도 특징 맵 간 공간적 맥락을 집계할 수 있는 효율적이고 병렬적인 메커니즘을 개발한다.
• 업샘플링 과정에서 굵은 특징과 세밀한 특징을 조합하여 특징 복원을 향상시켜 정밀한 픽셀 수준의 차선 예측을 가능하게 한다.
• 높은 정확도와 효율성을 갖춘 강력하고 모듈식 기반 모델을 향후 차선 검출 연구를 위한 기준으로 설정한다.

제안 방법

• 수직 및 수평 방향으로 반복적으로 특징 맵을 잘라내고 이동시켜 전역 특징 집계를 가능하게 하는 반복적 특징 이동 집합기인 RESA를 제안한다.
• 다른 스트라이드에서 이동된 특징 맵 간 요소별 덧셈(또는 최대 풀링)을 통해 특징 집계를 수행하여 장거리 정보를 유지하고 전파 과정에서의 손실을 줄인다.
• 표준 CNN 백본 뒤에 RESA를 플러그인 모듈로 통합하여 아키텍처의 대대적 개선 없이도 특징 표현을 풍부하게 한다.
• 이중 병렬 브랜치를 갖춘 이중 업샘플링 디코더(BUSD)를 설계한다: 하나는 굵은 특징을 위해 이중선형 업샘플링을 사용하고, 다른 하나는 역전치 컨벌루션과 비보트럼 블록을 사용해 세밀한 세부 사항을 처리한다.
• 양쪽 BUSD 브랜치의 출력을 조합하여 고해상도이고 정밀한 차선 예측을 재구성하며, 더 나은 연속성과 매끄러움을 확보한다.
• 희박한 차선 애너테이션으로 인한 클래스 불균형을 다루기 위해 표준 픽셀 수준의 이진 교차 엔트로피 손실에 포커스 손실을 적용하여 전체 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 행과 열을 따라 반복적인 특징 이동을 통해 가림되거나 모호한 장면에서의 차선 검출을 위한 특징 표현이 향상되는가?
• RQ2 RESA의 반복 횟수와 스트라이드 선택이 성능 및 계산 효율성에 어떤 영향을 미치는가?
• RQ3 병렬 특징 집계 메커니즘이 SCNN과 같은 순차적 메시지 전달 방법보다 정확도와 속도 면에서 뛰어나게 성능을 높일 수 있는가?
• RQ4 업샘플링 과정에서 굵은 특징과 세밀한 특징을 조합함으로써 픽셀 수준의 차선 예측 정확도가 얼마나 향상되는가?
• RQ5 제안된 방법이 실제 주행 조건에서 다양한 벤치마크인 CULane와 Tusimple에서 일반화 가능한가?

주요 결과

• RESA는 ResNet-34 백본을 사용하여 CULane 벤치마크에서 75.3의 F1 측정치를 기록하며 새로운 최신 기술 수준 성능을 달성한다.
• Tusimple 벤치마크에서는 다양한 실제 조건에서 이전 방법들을 능가하는 96.8%의 정확도를 달성한다.
• RESA 반복 횟수를 1에서 4로 늘일 경우 F1 측정치가 73.2에서 74.5로 향상되나, 4회 이후에는 수익 감소 현상이 나타난다.
• RESA는 SCNN보다 약 10배 빠르며(커널 너비 11일 때 4.4ms 대비 44.6ms) 뛰어난 계산 효율성을 보여준다.
• 특징 집계에 요소별 덧셈 대신 최대 풀링을 사용할 경우 F1 측정치가 74.4에서 74.5로 유사한 성능(74.5 대비 74.4)을 기록하여 집계 전략에 대해 뛰어난 내성성을 입증한다.
• 이중 업샘플링 디코더는 정량적 및 정성적 결과를 통해 전반적인 구조적 구조와 국소 세부 사항을 모두 유지함으로써 예측 품질을 크게 향상시킨다.