[논문 리뷰] Robust Fusion of LiDAR and Wide-Angle Camera Data for Autonomous Mobile Robots

De Silva, Jamie Roche외 1명|arXiv (Cornell University)|2017. 10. 17.

Target Tracking and Data Fusion in Sensor Networks인용 수 4

한 줄 요약

이 논문은 기하 모델과 가우시안 프로세스 회귀를 사용하여 LiDAR와 광각 단안 카메라 데이터를 공간적으로 정렬하고 해상도를 일치시켜 자율 이동 로봇의 자유 공간 탐지 성능을 향상시키는 강건한 센서 융합 프레임워크를 제안한다. 이 방법은 이질적인 센서 간의 공간적 및 시간적 해상도의 차이를 고려하여 불확실성 인식 기반의 정밀하고 불확실성 측정이 가능한 데이터 융합을 가능하게 하여 인식 성능을 크게 향상시킨다.

ABSTRACT

Autonomous robots that assist humans in day to day living tasks are becoming increasingly popular. Autonomous mobile robots operate by sensing and perceiving their surrounding environment to make accurate driving decisions. A combination of several different sensors such as LiDAR, radar, ultrasound sensors and cameras are utilized to sense the surrounding environment of autonomous vehicles. These heterogeneous sensors simultaneously capture various physical attributes of the environment. Such multimodality and redundancy of sensing need to be positively utilized for reliable and consistent perception of the environment through sensor data fusion. However, these multimodal sensor data streams are different from each other in many ways, such as temporal and spatial resolution, data format, and geometric alignment. For the subsequent perception algorithms to utilize the diversity offered by multimodal sensing, the data streams need to be spatially, geometrically and temporally aligned with each other. In this paper, we address the problem of fusing the outputs of a Light Detection and Ranging (LiDAR) scanner and a wide-angle monocular image sensor for free space detection. The outputs of LiDAR scanner and the image sensor are of different spatial resolutions and need to be aligned with each other. A geometrical model is used to spatially align the two sensor outputs, followed by a Gaussian Process (GP) regression-based resolution matching algorithm to interpolate the missing data with quantifiable uncertainty. The results indicate that the proposed sensor data fusion framework significantly aids the subsequent perception steps, as illustrated by the performance improvement of a uncertainty aware free space detection algorithm

연구 동기 및 목표

• 자율 이동 로봇에서 LiDAR와 광각 카메라의 이질적인 센서 데이터 융합 문제를 해결하기 위해.
• 저해상도 이미지와 고해상도 LiDAR 스캔 간의 정확한 공간적, 기하학적 및 시간적 정렬을 달성하기 위해.
• 가우시안 프로세스 회귀를 이용한 불확실성 측정이 가능한 보간을 통해 공간 해상도의 불일치를 해결하기 위해.
• 특히 불확실성 인식 자유 공간 탐지에 있어 후속 인식 작업의 성능을 향상시키기 위해.
• LiDAR와 단안 시각의 상호보완적 강점을 활용하여 신뢰할 수 있는 다중 모odal 환경 인식을 가능하게 하기 위해.

제안 방법

• 기하 모델을 사용하여 LiDAR 점군과 광각 카메라 이미지 간의 공간적 및 각도적 정렬을 수립한다.
• 이미지 영역에서 누락된 데이터를 보간하기 위해 가우시안 프로세스 회귀를 적용하여 LiDAR 출력의 해상도에 맞춘다.
• GP 회귀는 보간된 값에 대한 불확실성 추정치를 제공하여 후속 인식에서의 강건성을 높인다.
• 융합된 데이터 스트림은 LiDAR의 고정밀 깊이 정보와 카메라의 풍부한 텍스처 및 의미 정보를 조합한다.
• 시간적 일관성을 확보하기 위해 센서 데이터 스트림을 타임스탬프 정렬 기반으로 동기화한다.
• 최종 융합 출력은 불확실성 인식 기반의 자유 공간 탐지 알고리즘에 입력으로 사용된다.

실험 결과

연구 질문

• RQ1 다른 해상도와 시야각을 가진 LiDAR와 광각 카메라 데이터를 어떻게 효과적으로 공간적 및 기하학적으로 정렬할 수 있는가?
• RQ2 저해상도 이미지 데이터를 고정밀 LiDAR 스캔의 해상도에 맞추기 위해 가장 효과적인 보간 방법은 무엇이며, 이 과정에서 불확실성은 어떻게 측정할 수 있는가?
• RQ3 제안된 융합 프레임워크는 자율 이동 로봇의 자유 공간 탐지 정확도와 강건성에 얼마나 기여하는가?
• RQ4 융합 과정에서의 불확실성 측정은 인식 시스템의 신뢰성은 어떻게 향상시키는가?
• RQ5 실제 환경의 센서 노이즈와 정렬 오차가 발생하는 상황에서도 융합 프레임워크는 성능을 유지할 수 있는가?

주요 결과

• 제안된 융합 프레임워크는 불확실성 인식 기반의 자유 공간 탐지 알고리즘의 성능을 크게 향상시킨다.
• 가우시안 프로세스 회귀는 측정 가능한 불확실성을 제공하는 효과적인 해상도 일치를 가능하게 하여 인식 작업의 신뢰성을 향상시킨다.
• 제안된 모델을 통한 공간적 및 기하학적 정렬은 LiDAR와 카메라 데이터 간의 오정렬 오차를 감소시킨다.
• 불확실성 인식 보간 덕분에 센서 노이즈 및 환경 조건의 변화에 강건한 성능을 보여준다.
• 특히 복잡하거나 혼잡한 환경에서 자유 공간 탐지 성능이 향상된다.
• 결과적으로 다중 모달 융합과 함께 불확실성 측정이 포함된 접근은 더 일관되고 정확한 인식 출력을 이끈다.