[논문 리뷰] LineNet: a Zoomable CNN for Crowdsourced High Definition Maps Modeling in Urban Environments

Dun Liang, Yuan-Chen Guo외 5명|arXiv (Cornell University)|2018. 07. 16.

Video Surveillance and Tracking Methods참고 문헌 13인용 수 14

한 줄 요약

LineNet는 라인 예측 레이어와 줌 모듈을 갖춘 새로운 확장 가능한 CNN으로, 공유된 도시 영상에서 최신 기술 수준의 차선 검출을 가능하게 하며, 정확도가 떨어지는 GPS 데이터에도 불구하고 고해상도 지ap 모델링에서 31.3cm의 재구성 오차를 달성한다. 이 방법은 새로운 데이터셋인 TTLane와 통합되며, 이는 포괄적인 차선 및 가림막 정보를 포함하여 저비용 모바일 데이터에서 정밀한 고해상도 지도 생성을 가능하게 한다.

ABSTRACT

High Definition (HD) maps play an important role in modern traffic scenes. However, the development of HD maps coverage grows slowly because of the cost limitation. To efficiently model HD maps, we proposed a convolutional neural network with a novel prediction layer and a zoom module, called LineNet. It is designed for state-of-the-art lane detection in an unordered crowdsourced image dataset. And we introduced TTLane, a dataset for efficient lane detection in urban road modeling applications. Combining LineNet and TTLane, we proposed a pipeline to model HD maps with crowdsourced data for the first time. And the maps can be constructed precisely even with inaccurate crowdsourced data.

연구 동기 및 목표

• 전문 장비를 사용한 전통적인 고해상도 지도 제작의 높은 비용과 제한된 확장성 문제를 해결하기 위해.
• 신뢰할 수 없는 GPS와 변동성이 큰 카메라 파rameter를 가진 저비용 공유 모바일 데이터로부터 정확한 고해상도 지도 모델링을 가능하게 하기 위해.
• 다양한 도시 주행 조건에서 가려진 부분과 점선을 포함한 모든 차선 표시를 검출하고 분류할 수 있는 딥러닝 모델을 개발하기 위해.
• 도로 경계선, 가림막 세그먼트, 6종의 차선 유형을 포함한 포괄적인 애너테이션을 제공하는 새로운 벤치마크 데이터셋인 TTLane를 만들기 위해.
• 오직 공유된 영상과 GPS 데이터만을 사용하여 정밀한 고해상도 지도를 구축하는 첫 번째 종단 간 파이프라인을 수립하기 위해.

제안 방법

• LineNet는 라인 위치, 방향, 거리 및 신뢰도를 직접 회귀하는 새로운 라인 예측(LP) 레이어를 사용하여, 세그먼테이션 기반 방법보다 정위치 정확도를 향상시킨다.
• 줌 모듈은 아키텍처 변경 없이도 전역 특징(낮은 해상도의 축소판)과 고해상도 캡처 특징을 융합함으로써 임의의 시야 확대를 가능하게 한다.
• 모델은 13,200장의 이미지로 구성된 TTLane 데이터셋에서 훈련되며, 6종의 차선 유형, 도로 경계선, 가림막 세그먼트에 대한 세부 애너테이션을 포함한다.
• 차선 검출 결과는 3D 도로 기하 구조를 재구성하기 위해 구조에서 운동(SfM)을 사용하여 후처리되며, 공간적 및 방향 일致성 기반으로 차선을 융합한다.
• 파이프라인은 3D 재구성을 위해 OpenSfM을 통합하고, GPS 데이터를 사용하여 검출된 차선을 일관된 고해상도 지도로 정렬한다.
• 제거 분석을 통해 가림막 세그먼트 애너테이션, 줌 모듈 내 특징 융합, LP 레이어의 개별 브랜치의 중요성을 검증하였다.

실험 결과

연구 질문

• RQ1 실제 공유된 데이터 환경에서의 제약 조건 하에, 전용 라인 예측 레이어를 갖춘 딥 컨볼루션 네트워크가 세그먼테이션 기반 방법보다 차선 검출 정확도에서 뛰어나게 성능을 내는가?
• RQ2 훈련 과정에 가림막 세그먼트를 통합할 경우, 도시 환경에서의 차선 검출 강인성은 어느 정도 향상되는가?
• RQ3 모델 복잡도를 증가시키지 않고도 줌 모듈이 좁고 먼, 또는 끈적한 차선 표시의 검출을 얼마나 효과적으로 향상시키는가?
• RQ4 오직 공유된 모바일 데이터만을 사용하는 완전한 종단 간 파이프라인은 낮은 GPS 정확도와 변동성이 큰 영상 품질에도 불구하고, 1미터 이내의 정확도로 고해상도 지도를 생성할 수 있는가?
• RQ5 LP 레이어의 개별 구성 요소인 위치, 방향, 거리 및 신뢰도 브랜치가 최종 검출 성능에 미치는 영향은 어떠한가?

주요 결과

• LineNet는 TTLane 데이터셋에서 F1 스코어 0.708을 기록하여 기준 모델을 크게 능가했으며, 방향 및 거리 브랜치를 사용할 경우 훈련 손실이 10% 감소하였다.
• 가림막 세그먼트를 훈련에 포함시켰을 때 F1 스코어는 0.637에서 0.708로 향상되어, 가려진 차선 부분을 명시적으로 모델링하는 것이 중요함을 입증하였다.
• 줌 모듈을 적용함으로써 F1 스코어는 0.634에서 0.708로 상승하였으며, 좁고 끈적한 차선의 검출 정밀도 향상에 기여하였다.
• 신뢰도 브랜치는 핵심적이었으며, 이를 제거할 경우 F1 스코어는 0.615로 감소하였는데, 이는 줌 기능이 비활성화되고 네트워크가 첫 번째 단계 추론에만 국한되기 때문이었다.
• 종단 간 파이프라인은 실제 지도와 비교해 평균 31.3cm의 오차로 고해상도 지도를 재구성했으며, 이는 모바일 기기의 5미터 GPS 오차에 비해 뚜렷한 향상이다.
• 직진, 커브, 교차로 세 가지 도로 조건에서 평균 재구성 오차는 각각 0.15m, 0.11m, 0.23m였으며, 각도 오차는 9도 이내였다.