[논문 리뷰] RSRD: A Road Surface Reconstruction Dataset and Benchmark for Safe and Comfortable Autonomous Driving

Tong Zhao, Chenfeng Xu외 4명|arXiv (Cornell University)|2023. 10. 03.

Advanced Vision and Imaging인용 수 7

한 줄 요약

이 논문은 자동주행 차량을 위한 정교한 도로 표면 복원을 위한 최초의 대규모 고해상도 실세계 데이터셋인 RSRD를 소개한다. 이 데이터셋은 다양한 주행 조건에서 수집한 16,000组의 스테레오 이미지 쌍, 조밀한 점군, 지상 진실(depth/disparity) 지apap을 포함한다. RSRD를 기반으로 저해상도 단일 영상 깊이 추정 및 스테레오 매칭에 대한 벤치마크를 수립하였으며, 낮은 무늬의 도로 표면을 복원하는 데서 발생하는 중대한 과제를 입증하고, 부분 픽셀 정확도로 최신 기법들을 검증하였다.

ABSTRACT

This paper addresses the growing demands for safety and comfort in intelligent robot systems, particularly autonomous vehicles, where road conditions play a pivotal role in overall driving performance. For example, reconstructing road surfaces helps to enhance the analysis and prediction of vehicle responses for motion planning and control systems. We introduce the Road Surface Reconstruction Dataset (RSRD), a real-world, high-resolution, and high-precision dataset collected with a specialized platform in diverse driving conditions. It covers common road types containing approximately 16,000 pairs of stereo images, original point clouds, and ground-truth depth/disparity maps, with accurate post-processing pipelines to ensure its quality. Based on RSRD, we further build a comprehensive benchmark for recovering road profiles through depth estimation and stereo matching. Preliminary evaluations with various state-of-the-art methods reveal the effectiveness of our dataset and the challenge of the task, underscoring substantial opportunities of RSRD as a valuable resource for advancing techniques, e.g., multi-view stereo towards safe autonomous driving. The dataset and demo videos are available at https://thu-rsxd.com/rsrd/

연구 동기 및 목표

• 자율주행 차량을 위한 정교한 도로 표면 복원을 위한 대규모 고정밀도 데이터셋의 부족 문제를 해결하기 위해.
• 세부적인 도로 프로파일 추정을 통해 타이어-도로 상호작용을 정확히 예측하여 차량의 안전성과 승차감을 향상시키기 위해.
• 기존 데이터셋이 일반적으로 저해상도, 희박한 레이블링, 부족한 시나리오 다양성 등의 한계를 겪고 있는 점을 극복하기 위해.
• 실세계 도로 표면에서 깊이 추정 및 스테레오 매칭 기법을 평가하기 위한 종합적인 벤치마크를 제공하기 위해.
• 다중 시야 스테레오, 점군 처리, 정위치 기반 연구를 지원하기 위해 고정밀 레이블이 부여된 풍부하고 교정된 데이터셋을 제공하기 위해.

제안 방법

• RSRD 데이터셋은 캘리브레이션된 스테레오 카메라와 라이다를 장착한 전용 이동 플랫폼을 사용하여 다양한 도로 유형에서 실세계 주행 조건을 촬영하여 수집되었다.
• 고정밀 후처리 파이프라인을 적용하여 라이다 점군에서 조밀하고 정확한 지상 진실 깊이 및 시차 지도를 생성하였다.
• 데이터셋은 16,000개의 스테레오 이미지 쌍, 융합된 점군, 그리고 점군 시각화 영상 포함하며, 다양한 학습 패러다임에 대응하기 위해 조밀하고 희박한 하위집합으로 분할되었다.
• 표준 평가 지표인 δ<1.25, Abs Rel, RMSE, EPE를 사용하여 최신 단일 영상 깊이 추정 및 스테레오 매칭 모델을 RSRD 데이터셋에서 평가함으로써 벤치마크를 수립하였다.
• 희박한 하위집합에서의 사전 학습이 조밀한 하위집합에서의 성능을 향상시켜, 약한 지도 학습에서 척도와 다양성의 가치를 입증하였다.
• 깊이 지도에서 표면 법선 지도를 계산하여 미세한 도로 불균형을 시각화하였으며, 깊이 변화가 작고 시각적으로 명확하지 않기 때문이다.

실험 결과

연구 질문

• RQ1 현재 최신 기술의 깊이 추정 모델은 스테레오 이미지에서 정교한 도로 표면 프로파일을 얼마나 효과적으로 복원하는가?
• RQ2 도로 표면의 낮은 무늬 특성이 스테레오 매칭 및 단일 영상 깊이 추정 알고리즘에 얼마나 큰 도전을 주는가?
• RQ3 대규모 희박한 하위집합에서의 사전 학습은 조밀하고 고정밀한 하위집합에서의 도로 표면 복원 성능을 향상시킬 수 있는가?
• RQ4 텍스처 해상도와 시점 효과의 변화를 고려할 때, 근거리와 원거리에서 모델 성능은 어떻게 달라지는가?
• RQ5 NeRF 및 다중 시야 스테레오(MVS)와 같은 고급 기법은 도로 표면 복원 정확도 향상에 얼마나 잠재적 잠재력을 지니는가?

주요 결과

• RSRD 데이터셋은 다양한 실세계 도로 조건을 커버하는 16,000개의 캘리브레이션된 스테레오 이미지 쌍과 고정밀 지상 진실 깊이 및 시차 지도를 포함한다.
• LapDepth를 사용한 단일 영상 깊이 추정은 조밀한 하위집합에서 δ<1.25 점수 0.998을 기록하였으며, 원거리에 비해 근거리에서 훨씬 뛰어난 성능을 보였다.
• RSRD-희박 하위집합에서의 사전 학습은 깊이 추정 성능을 향상시켜 δ<1.25 0.999 및 RMSE 0.184를 달성하였으며, 조밀한 하위집합에서만 학습하는 것보다 뛰어난 성능을 보였다.
• 스테레오 매칭 기법은 부분 픽셀 정확도를 달성하였으며, 최고의 모델(CFNet)은 EPE 0.333 픽셀을 기록하고, 3 픽셀 초과 오차를 가진 픽셀 비율이 0.063% 미만이었다.
• 0.333 픽셀의 시차 오차는 5미터 거리에서 약 4cm의 깊이 오차에 해당하며, 이는 차량 제어 응용에 적합한 높은 정확도를 나타낸다.
• 원거리에서의 성능 저하는 흐린 텍스처 해상도와 시점 효과로 인한 것으로 분석되었으며, 기하학적 인식 모델의 필요성을 강조한다.