[논문 리뷰] Real-Time Stereo Vision for Road Surface 3-D Reconstruction

Rui Fan, Yanan Liu외 4명|arXiv (Cornell University)|2018. 07. 18.

Advanced Vision and Imaging참고 문헌 18인용 수 4

한 줄 요약

이 논문은 NVIDIA GTX 1080 GPU에서 투영 변환과 빠른 이방성 스테레오(FBS)를 사용하여 실시간 스테레오 시각 시스템을 제안한다. 목표 영상의 이미지를 기준 시점과 일치시키기 위해 투영 변환을 적용함으로써, 정확도와 처리 속도를 향상시켜 25 fps에서 3 mm 이내의 서브픽셀 디스parity 맵을 얻는다.

ABSTRACT

Stereo vision techniques have been widely used in civil engineering to acquire 3-D road data. The two important factors of stereo vision are accuracy and speed. However, it is very challenging to achieve both of them simultaneously and therefore the main aim of developing a stereo vision system is to improve the trade-off between these two factors. In this paper, we present a real-time stereo vision system used for road surface 3-D reconstruction. The proposed system is developed from our previously published 3-D reconstruction algorithm where the perspective view of the target image is first transformed into the reference view, which not only increases the disparity accuracy but also improves the processing speed. Then, the correlation cost between each pair of blocks is computed and stored in two 3-D cost volumes. To adaptively aggregate the matching costs from neighbourhood systems, bilateral filtering is performed on the cost volumes. This greatly reduces the ambiguities during stereo matching and further improves the precision of the estimated disparities. Finally, the subpixel resolution is achieved by conducting a parabola interpolation and the subpixel disparity map is used to reconstruct the 3-D road surface. The proposed algorithm is implemented on an NVIDIA GTX 1080 GPU for the real-time purpose. The experimental results illustrate that the reconstruction accuracy is around 3 mm.

연구 동기 및 목표

• 정확도와 속도의 균형을 고려한 실시간 스테레오 시각 시스템을 개발하여 3차원 도로 표면을 재구성하는 것.
• 매칭 전에 목표 영상의 투영 시점과 기준 시점을 일치시킴으로써 디스파리티 추정 정확도를 향상시키는 것.
• 비용 볼륨에 대한 적응형 이방성 필터링을 통해 처리 속도를 가속화하고 스테레오 매칭의 모호함을 감소시키는 것.
• 포물선 보간을 통해 서브픽셀 디스파리티 해상도를 확보하여 고정밀 3차원 재구성 달성하는 것.
• 현장 적용에 적합한 실시간 성능을 확보하기 위해 알고리즘을 GPU에 구현하는 것.

제안 방법

• 목표 영상가 기준 영상과 일치시키기 위해 투영 변환을 적용하여 유사도를 향상시키고 매칭 정확도를 개선한다.
• 정규화된 상호상관관계(NCC)를 사용하여 영상 블록 간의 초기 상관 비용을 계산하고, 두 개의 3차원 비용 볼륨을 형성한다.
• 비용 볼륨에 이방성 필터링을 적용하여 매칭 비용을 적응적으로 집계함으로써 모호성을 감소시키고 디스파리티 정밀도를 향상시킨다.
• 비용 최적화된 디스파리티 맵에 대해 포물선 보간을 수행하여 서브픽셀 디스파리티 해상도를 확보한다.
• 최종 디스파리티 맵을 사용하여 校정된 스테레오 기하학을 기반으로 삼각측량을 통해 3차원 도로 표면을 재구성한다.
• 알고리즘을 NVIDIA GTX 1080 GPU에 구현하여 25 fps에서 실시간 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 스테레오 영상 간의 투영 변환은 도로 표면 재구성에서 디스파리티 추정 정확도와 처리 속도를 향상시킬 수 있는가?
• RQ2 비용 볼륨에 대한 이방성 필터링은 실시간 시스템에서 스테레오 매칭 정밀도를 어떻게 향상시키는가?
• RQ3 GPU 가속된 스테레오 시각 파이프라인에서 재구성 정확도와 처리 속도 사이의 타협 가능성은 무엇인가?
• RQ4 서브픽셀 디스파리티 추정은 도로 인프라 평가를 위한 3차원 표면 재구성 정확도를 상당히 향상시킬 수 있는가?
• RQ5 고정된 카메라 기준 거리와 제한된 깊이 해상도를 가진 실외 환경에서 시스템의 성능은 어떠한가?

주요 결과

• 제안된 시스템은 3D 프린팅된 샘플 모델을 활용하여 약 3 mm의 재구성 정확도를 확보하였다.
• 알고리즘은 NVIDIA GTX 1080 GPU에서 25 프레임 매초로 스테레오 영상을 처리하여 실시간 성능를 달성하였다.
• ϱ=3 및 ρ=4 인자 조합을 사용할 경우 처리 속도가 566.37 Mde/s에 도달하였다.
• ϱ 및 ρ 값이 증가할수록 런타임이 증가하였으며, ρ가 2에서 4로 증가할 경우 처리 시간이 약 2배로 증가하였다.
• 투영 변환은 기준 시점과 목표 시점 간의 이미지 유사도를 증가시켜 매칭 품질을 상당히 향상시켰다.
• 비용 볼륨에 대한 이방성 필터링은 매칭의 모호성을 효과적으로 감소시키고 디스파리티 맵 정밀도를 향상시켰다.