[논문 리뷰] Real-Time Dense Stereo Embedded in A UAV for Road Inspection

Rui Fan, Jianhao Jiao외 4명|arXiv (Cornell University)|2019. 04. 12.

Remote Sensing and LiDAR Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 UAV에 통합된 실시간 밀도 있는 스테레오 시각 시스템을 제안한다. 시점 변환을 적용하여 차분 정확도를 향상시키고 계산 부담을 줄이며, 차분 변환을 통해 손상 감지 가능성을 향상시켜 NVIDIA Jetson TX2 GPU에서 49.231 Mde/s의 실시간 성능을 달성함으로써 변환된 차분 맵에서 도로 손상 요소를 명확히 구분할 수 있다.

ABSTRACT

The condition assessment of road surfaces is essential to ensure their serviceability while still providing maximum road traffic safety. This paper presents a robust stereo vision system embedded in an unmanned aerial vehicle (UAV). The perspective view of the target image is first transformed into the reference view, and this not only improves the disparity accuracy, but also reduces the algorithm's computational complexity. The cost volumes generated from stereo matching are then filtered using a bilateral filter. The latter has been proved to be a feasible solution for the functional minimisation problem in a fully connected Markov random field model. Finally, the disparity maps are transformed by minimising an energy function with respect to the roll angle and disparity projection model. This makes the damaged road areas more distinguishable from the road surface. The proposed system is implemented on an NVIDIA Jetson TX2 GPU with CUDA for real-time purposes. It is demonstrated through experiments that the damaged road areas can be easily distinguished from the transformed disparity maps.

연구 동기 및 목표

• UAV 기반 도로 상태 평가를 위한 실시간 내장형 밀도 있는 스테레오 시각 시스템을 개발하기 위해.
• 도로 점검을 위한 스테레오 매칭에서 차분 정확도를 향상시키고 계산 복잡도를 감소시키기 위해.
• 기하학적 변환을 통해 차분 맵에서 도로 손상 영역의 구별 가능성을 향상시키기 위해.
• 실용적인 UAV 배포를 위한 저전력 내장형 플랫폼(예: Jetson TX2)에서 실시간 처리를 가능하게 하기 위해.

제안 방법

• 목표 영상의 시점 시각을 정규화된 시점으로 변환하여 차분 정확도를 향상시키고 계산 복잡도를 감소시키기 위해.
• 스테레오 매칭에서 비용 볼륨을 생성하고, 전체 연결된 마르코프 무작위 필드의 에너지 최소화 문제를 해결하기 위해 양방향 필터를 사용하여 필터링하기 위해.
• 롤 각도 및 차분 투영 모델에 대해 에너지 함수를 최소화하여 차분 맵을 변환하고 손상 가시성을 향상시키기 위해.
• 수렴 임계값 δψ = π/(1.8×10⁶) rad를 갖는 반복 최적화 방법을 사용하여 차분 맵에서 롤 각도를 추정하기 위해.
• 실시간 성능을 확보하기 위해 CUDA를 사용하여 NVIDIA Jetson TX2 GPU에 시스템을 구현하기 위해.
• 차분 변환 및 롤 각도 추정을 평가하기 위해 자체 도로 데이터셋과 KITTI 스테레오 데이터셋을 모두 사용하기 위해.

실험 결과

연구 질문

• RQ1 UAV 기반 스테레오 시각에서 시점 변환은 차분 정확도 향상과 계산 복잡도 감소에 기여하는가?
• RQ2 차분 변환은 주변 표면과의 비교에서 도로 손상 영역의 구별 가능성을 얼마나 효과적으로 향상시키는가?
• RQ3 UAV 응용 분야에서 임베디드 GPU(예: Jetson TX2)에서 밀도 있는 스테레오 시스템의 실시간 성능는 어느 정도 달성 가능한가?
• RQ4 UAV 자세 변화를 보정하기 위해 차분 맵에서 롤 각도를 정확하게 추정할 수 있는가?
• RQ5 도로 손상 탐지에서 정확도 및 계산 효율성 측면에서 기존 스테레오 알고리즘과 비교해 본다면 본 방법은 어떠한가?

주요 결과

• 시스템은 Jetson TX2 GPU에서 49.231 Mde/s의 처리 속도를 달성하여 대부분의 고성능 그래픽 카드를 사용하는 스테레오 시각 시스템을 뛰어넘는 성능을 보였다.
• KITTI 데이터셋에서 변환된 차분 값의 평균 표준편차 σd는 롤 각도 영향을 보정하지 않은 경우 0.861 픽셀에서 0.519 픽셀으로 향상되었다.
• 알려진 0도 롤 각도를 가진 합성 데이터셋에서 테스트한 결과, 롤 각도 추정의 평균 오차는 약 0.012 rad로 측정되었다.
• 차분 변환 알고리즘은 자체 데이터셋과 KITTI 데이터셋 모두에서 정성적 결과를 통해 손상된 도로 영역이 도로 표면과 매우 뚜렷하게 구분됨을 입증하였다.
• 롤 각도 추정에 소요된 런타임은 약 7.842 ms였으며, 차분 변환은 Jetson TX2에서 프레임당 약 1.541 ms 소요되었다.
• 시점 변환은 알고리즘 복잡도를 감소시키면서도 차분 정확도를 향상시켜 내장형 하드웨어에서 실시간 성능 달성을 가능하게 하였다.